robots.txt

قالب ملف Robots.txt

تم نقل قالب Robots.txt من تصميم Jonas Jacek إلى ditig.com.

سيتم إغلاق هذا المستودع قريبا.

---

يحتوي هذا المستودع على نموذجين لملفات robots.txt لمساعدة مشرفي المواقع على إبقاء روبوتات الويب غير المرغوب فيها (مثل روبوتات الكشط، ومحركات البحث عن الأشخاص، وأدوات تحسين محركات البحث، وأدوات التسويق، وما إلى ذلك) بعيدًا عن مواقع الويب الخاصة بهم مع السماح للروبوتات المشروعة (مثل برامج زحف محركات البحث).

لكي تكون الروبوتات شرعية ويتم إدراجها في القائمة، يجب أن تلتزم بشكل كامل بمعيار استبعاد الروبوتات . تحتوي قوالب ملف robots.txt على قائمة بيضاء. لا يُسمح للروبوتات غير المدرجة (وكلاء المستخدم)، وفقًا لاتفاقيات معيار استبعاد الروبوتات، بالوصول.

ملفات

ملفات القالب

تحتوي ملفات قالب robots.txt على قائمة بيضاء مرتبة أبجديًا لروبوتات الويب الشرعية . في النسخة التي تم التعليق عليها، تم وصف كل روبوت باختصار في تعليق أعلى (قائمة) وكيل (وكلاء) المستخدم. قم بإلغاء التعليق أو حذف الروبوتات (وكلاء المستخدم) التي لا ترغب في السماح لها بالوصول إلى موقع الويب الخاص بك.

هناك إصداران من ملف robots.txt:

1. الملف العادي (بالتعليقات)
   /robots.txt
2. الملف المصغر (لا توجد تعليقات)
   /robots.min.txt

إذا كنت تستخدم النسخة المصغرة، فلا تنس إعادة تسميتها إلى robots.txt لتكون فعالة.