أولاً وقبل ان اشرح الطريقة التى بها ان شاء الله سيتم منع عناكب محركات البحث من الزحف إلى وأرشفة نفس المحتوى ولكن بروابط أخرى تنشئ مشكلة علامات العناوين المكررة, أنوه أن هذه الطريقة التى سأشرحها بأمر الله لم يتطرق لها أحد من قبل ومن النادر جداً ان يعرفها أحد وإذا دخلت على ملفات روبوتس العديد من المدونات لن تجدها, وأنوه أننى لن أسامح أحد أبداً فى سرقة هذا الشرح, فذلك الشرح غير موجوداً إلا فى منتديات نجوم مصرية ومدونتى فقط التى قمت بالشرح فيها للعديد من أوامر ملف الروبوتس وإذا وجد هذا الشرح فى أى مدونة أو موقع أخر فهو مسروق لأننى تعبت جداً حتى وصلت إلى الطريقة الفعالة جداً للقضاء على المحتوى المكرر لمدونات بلوجر.
ثانياً نتطرق إلى الشرح بأمر الله :
بالطبع نحن نعرف أن ملف الروبوتس هو ملف الأوامر لعناكب محركات البحث ومن الأفضل ان نضع به أوامر Disallow فقط أى أوامر منع الزحف والأرشفة لأن مهمة هذا الملف هو المنع وليس السماح فأوامر Allow غير مجدية.
يتم كتابة الأمر التالى وسأشرحه لكم ان شاء الله بإستفاضة :
Disallow: /*0$
بالطبع العديد من مدونى بلوجر يمكنهم إختيار قالب مخصص لمدونتهم ليظهر على أجهزة الجوال عن طريق الدخول إلى إدارة بلوجر ثم إلى قالب ثم على علامة الترس الموجودة فى جزء الجوال وتحديد أول إختيار وهو (نعم. إظهار نموذج الجوال على أجهزة الجوال.) ثم اختيار نموذج الجوال ثم حفظ.
وبعد ذلك الدخول إلى المدونة برابط المدونة عبر أجهزة الجوال حيث يتم إضافة m=1? لرابط المدونة الأساسى لتدخل إلى قالب مدونتك الذى يظهر على أجهزة الجوال مثل هذا الرابط مثلاً http://myblog.blogspot.com/?m=1 أو http://www.myblog.com/?m=1 أو .net أو .org بمعنى حتى لو كان الدومين مدفوع وتستخدم خدمة بلوجر فيمكنك أيضاً بطريقة عادية تهيئة قالب لأجهزة الجوال والدخول عليه بإضافة m=1?.
بعد دخولك لقالب مدونتك الذى يظهر على أجهزة الجوال ستجد فى أسفل الصفحات عرض إصدار الويب.
عند على عرض إصدار الويب لأى صفحة ستدخل إلى قالبك العادى ولكن تظهر المشكلة فى إضافة m=0? للرابط, حيث أن عناكب محركات البحث وخاصة جوجل عند زحفها إلى صفحات قالبك العادى عن طريق قالب أجهزة الجوال ستقوم بأرشفة روابط المدونة المضاف إليها m=0? وهذه الروابط كما ذكرت هى عرض إصدار الويب وعند أرشفة عناكب محركات البحث للروابط فإنها ستؤرشف بذلك عرضين لإصدار الويب وليس عرضاً واحداً فقط, حيث ستؤرشف الروابط العادية لإصدار الويب والروابط المضاف إليها m=0? لإصدار الويب وستظهر المشكلة لديك فى أدوات مشرفى المواقع من جوجل فى تحسينات Html حيث ستجد فى علامات عناوين مكررة لكل موضوع رابطين مما يجعلك فى مأزق المحتوى المكرر.
الأمر Disallow: /*0$
هو أمر منع لعناكب محركات البحث بعدم الزحف إلى وأرشفة جميع روابط المدونة التى تحتوى على صفر فى نهايتها.
علامة السلاش / تشير إلى المدونة
علامة النجمة * تشير إلى جميع الروابط
علامة $ تشير إلى نهاية الروابط
أى أنك تعطى أمر بمنع أرشفة جميع الروابط التى تنتهى بصفر
ولا أخفى عليكم أن هناك عيباً ولكنه غير مؤثراً بطريقة سلبية على الإطلاق, حيث أن خرائط المدونة التى تنتهى بالرقم 100 و500 سوف تمتنع العناكب عن الدخول إليها لأنها تنتهى بصفر ولكن هناك خرائط أخرى مثل atom.xml - rss.xml - feeds/posts/default, المهم أننا منعنا المحتوى المكرر والعناوين المكررة.
وسوف تشعرون بتحسن كبير فى أرشفة مدوناتكم على جوجل.
إلى اللقاء فى شرح آخر ان شاء الله
بقلم طارق بدرالدين