مناقشة مختصرة حول استخدام روابط خريطة الموقع في ملفات robots.txt

تتمثل ميزة وضع رابط خريطة الموقع في ملف robots.txt في أن مشرف الموقع لا يضطر إلى الانتقال إلى أدوات مشرفي المواقع الخاصة بكل محرك بحث أو قسم مماثل لمشرفي المواقع لإرسال ملف خريطة الموقع الخاص به. يمكن أن تساعد هذه الطريقة مشرفي المواقع على تقليل عملهم.

أصدرت جميع محركات البحث الرئيسية طريقة جديدة لدعم ملفات Sitemap، وهي تضمين روابط لملفات Sitemap مباشرة في ملف robots.txt. شركات محركات البحث التي تدعم هذا حاليًا تشمل Google وYahoo، لكن من الواضح أن شركات محركات البحث الصينية ليست في هذه الدائرة.

وميزة ذلك هي أن مشرف الموقع لا يحتاج إلى الانتقال إلى أدوات مشرفي المواقع أو أقسام مشرفي المواقع المشابهة لكل محرك بحث لإرسال ملف خريطة الموقع الخاص به، وسيقوم عنكبوت محرك البحث بالزحف إلى ملف robots.txt وقراءة المحتوى الموجود فيه. مسار خريطة الموقع، ثم قم بالزحف إلى صفحات الويب المرتبطة.

يعتمد هذا على افتراض أن ملف robots.txt هو بالفعل معيار، وأن جميع مواقع الويب لديها واحد على الأقل، ولا يزال ملف Sitemap ينشئ معيارًا. يمكن أن يقلل هذا الأسلوب من عمل مشرفي المواقع، وإذا لم يكونوا بحاجة إلى فهرس و معلومات البحث، فأنت تحتاج فقط إلى تضمين خريطة الموقع في ملف robots.txt.

لنبدأ الآن ونقوم بتعديل ملف robots.txt.

 #
# ملف robots.txt لـ xxx.com
# الإصدار 2009.04.04
#

وكيل المستخدم: *

عدم السماح: /وظيفة/
عدم السماح: /FCKeditor/
عدم السماح: /ذاكرة التخزين المؤقت/
عدم السماح: /البرنامج النصي/
عدم السماح: /ADMIN/
عدم السماح: /wap.asp
عدم السماح: /cmd.asp
خريطة الموقع: http://www.xxx.com/sitemap.xml