ستجد ملف robots.txt في بروتوكول نقل الملفات (FTP) للعديد من مواقع الويب. يعرف العديد من مشرفي المواقع أن هذا الملف يقيد وصول العنكبوت. هل يحتوي هذا الملف على أي وظائف أخرى؟ دعونا نتعلم معًا.
ما هو ملف الروبوتات؟ هذا الملف هو جسر اتصال بين محركات البحث ومواقع الويب، وهو ملف بناء جملة متفق عليه بين الاثنين. في كل مرة يقوم محرك بحث بالزحف إلى موقع ويب، فإنه سيتحقق أولاً من هذا الملف، تمامًا مثل مفتاح الملف نفس الباب. إذا كان هذا الملف غير موجود، فهذا يعني أن الزحف إلى محرك البحث غير مقيد. إذا كان هذا الملف موجودًا، فسيتم الزحف إليه وفقًا للمتطلبات المحددة في الملف. قد يتساءل بعض مشرفي المواقع، عندما نقوم بإنشاء موقع ويب، نحتاج بالتأكيد إلى فهرسته بواسطة محركات البحث، فلماذا يجب علينا تقييد الزحف إليه؟ ستبحث محركات البحث في الموقع بأكمله أثناء عملية الزحف، وقد يكون هناك بعض المحتوى في موقعك موقع الويب الذي قمت بجمعه، أو صفحات مماثلة لا تحتوي على محتوى جوهري، فسيتم تقليل تقييم موقع الويب الخاص بك بشكل كبير بعد أن يزحف إليه محرك البحث، ولن يكون له تأثير على تحسين محركات البحث. ومع ذلك، يمكن لملف الروبوتات أن يخبرك بالعنكبوت انظر إلى الصفحات التي لا تريد الانتقال إليها، كما أنها تقلل الحمل على الخادم بشكل غير مباشر.
هناك عدة أمور يجب ملاحظتها حول هذا الملف:
1. لا يمكن كتابة اسم الملف بشكل غير صحيح ويجب أن يكون بأحرف صغيرة، ويجب أن تكون اللاحقة .txt.
2. يجب وضع الملف في الدليل الجذر لموقع الويب، مثل: http://www.taofengyu.com/robots.txt ، ويجب أن يكون متاحًا للوصول إليه.
3. يجب أن يكون بناء جملة محتوى الملف صحيحًا، وبشكل عام، يتم استخدام وكيل المستخدم وDisallow بشكل شائع:
وكيل المستخدم:* يعني أنه مسموح لجميع عناكب محركات البحث بالزحف والتضمين. إذا كنت لا تريد أن يقوم Baidu بتضمين موقع الويب الخاص بك، فاستبدل * بـ "baiduspider"، فلن يتم الزحف إلى المحتوى المقيد بواسطة Disallow وإدراجه بواسطة Baidu. العناكب. إذا كنت تريد تقييد الزحف إلى الموقع بأكمله، فيجب كتابة ملف Disallow باسم "Disallow:/". إذا كنت تريد تقييد الزحف إلى الملفات الموجودة في مجلد معين، فاكتبه باسم "Disallow:/admin /". إذا كنت تريد تقييد الزحف إلى الملفات بدءًا من admin، فاكتب "Disallow:/admin"، وما إلى ذلك. تريد تقييد الزحف إلى الملفات في مجلد معين. على سبيل المثال، تريد تقييد الزحف إلى المجلد ملف Index.htm في مجلد المسؤول، ثم يتم كتابة بناء الجملة Disallow كـ "Disallow:/admin/index.htm". إذا لم يكن هناك "/" بعد عدم السماح، فهذا يعني أنه يُسمح بالزحف إلى جميع صفحات موقع الويب وتضمينها.
بشكل عام، ليست هناك حاجة للعناكب للزحف إلى ملفات إدارة الخلفية، ووظائف البرنامج، وملفات قاعدة البيانات، وملفات أوراق الأنماط، وملفات القوالب، وبعض صور موقع الويب، وما إلى ذلك.
4. يجب أن تكون وظيفة عدم السماح موجودة في ملف الروبوتات، وهو عامل أساسي في إنشاء هذا الملف.
هذا كل ما يتعلق بأهمية ملفات الروبوتات وأساليبها، وآمل أن تكون ذات فائدة للجميع.
المقال مأخوذ من شبكة مستلزمات الطلاب Taofengyu http://www.taofengyu.com/ يرجى الإشارة إلى المصدر عند إعادة الطباعة واحترام جهد المؤلف.
المساحة الشخصية للمؤلف لألعاب الأطفال على تاوباو