فيما يتعلق بملف robots.txt، قد يعتقد معظم الأشخاص أنه يمكن كتابته أم لا، وإذا كتبته بشكل خاطئ، فستقع في مشكلة، لذلك قد لا تكتبه على الإطلاق. في الواقع، في تحسين محركات البحث، يحتوي ملف robots.txt على العديد من الاستخدامات الرائعة. الآن دعونا نلقي نظرة على الاستخدامات الرائعة لملف robots.txt واحدًا تلو الآخر.
1. عند إنشاء موقع جديد، قم بتوجيه العنكبوت للزحف إلى صفحة القائمة. عند إنشاء موقع ويب جديد لأول مرة، اكتب عنوان عمود موقع الويب في ملف robots.txt الخاص بك للزحف. الأمثلة هي كما يلي
# http://www.xxxxx.cn/ موقع الويب الأمثل robots.txt
وكيل المستخدم: *
عدم السماح: /
عدم السماح: /plus/advancedsearch.php
عدم السماح: /plus/car.php
عدم السماح: /plus/carbuyaction.php
عدم السماح: /plus/shops_buyaction.php
عدم السماح: /plus/erraddsave.php
عدم السماح: /plus/posttocar.php
عدم السماح: /plus/disdls.php
عدم السماح: /plus/feedback_js.php
عدم السماح: /plus/mytag_js.php
عدم السماح: /plus/rss.php
عدم السماح: /plus/search.php
عدم السماح: /plus/recommend.php
عدم السماح: /plus/stow.php
عدم السماح: /plus/count.php
عدم السماح: / تضمين
عدم السماح: / المعابد
يتم استخدام ملف robots.txt الافتراضي الخاص بـ dedecms، والذي أشعر شخصيًا أنه جيد جدًا.
2. منع تضمين الصفحات ذات الجودة المنخفضة. على سبيل المثال، إحدى صفحات الويب الخاصة بك عبارة عن صفحة ديناميكية، content.asp، ويمكنك الحصول على محتوى مختلف من خلال معرف المعلمة إذا كنت بحاجة إلى إضافة نمط معلمة لعرض الصفحات بأنماط مختلفة ولكن نفس المحتوى لمستخدمين مختلفين، بعد ذلك، بالنسبة للصفحة التي تحتوي على نفس المحتوى بالمعرف 1، قد يكون هناك عدة روابط.
content.asp?id=1
content.asp?id=1&style=red
content.asp?id=1&style=green
بالنسبة لهذه الاتصالات، المحتوى هو نفسه ولكن الاتصالات مختلفة، مما قد يؤدي إلى ظهور محتوى مكرر، وهنا يمكنك منع إدراج الصفحات المكررة من خلال ملف robots.txt، كما يلي:
وكيل المستخدم: *
عدم السماح: content.asp?id=*&style=*
3. لا حاجة لتقديم خريطة الموقع لمحركات البحث الكبرى. تدعم كل من Google وMicrosoft وYahoo بالفعل هذا الامتداد لملف robots.txt. لذلك فهو يوفر أيضًا الوقت لإرسال خريطة الموقع
أما بالنسبة لطريقة الكتابة المحددة لملف robots.txt، فمن المستحسن الرجوع إلى الدليل المقدم من بايدو، وهو مفصل للغاية http://www.baidu.com/search/robots.html
تم نشره لأول مرة على Webmaster.com، يرجى الاحتفاظ بالرابط http://www.zzyoua.cn/ لإعادة طباعته.