ملفات الروبوتات هي "اتفاقية شرف" بين موقع الويب وبرنامج العنكبوت - لا تستطيع ملفات الروبوتات حفظ موارد موقع الويب فحسب، بل تساعد أيضًا العناكب في الزحف إلى الويب بشكل أكثر فعالية، وبالتالي تحسين التصنيف.
1: السماح ببرنامج Google bot فقط
إذا كنت تريد حظر جميع برامج الزحف باستثناء Googlebot:
وكيل المستخدم:*
عدم السماح:/
Uer-agent: اسم العنكبوت المسموح به
عدم السماح:
2: الفرق بين "/مجلد/" و"/مجلد"
على سبيل المثال:
وكيل المستخدم:*
عدم السماح:/مجلد/
عدم السماح:/مجلد
"Disallow:/folder/" يعني أنه تم اعتراض الدليل. لا يُسمح بالزحف إلى جميع الملفات الموجودة في هذا الدليل، ولكن يُسمح بالزحف إلى المجلد.hlml.
"Disallow:/folder": لا يمكن الزحف إلى جميع الملفات والمجلدات.html ضمن /folder/.
3: "*" يطابق أي حرف
وكيل المستخدم:*
يشير إلى منع جميع العناكب. بعد إجراء المعالجة الساكنة الزائفة، ستكون هناك صفحات ويب ديناميكية وصفحات ويب ثابتة في نفس الوقت، ويكون محتوى صفحات الويب متماثلًا تمامًا ويعتبر بمثابة صفحة مرآة يمكنك استخدام العلامة * لحظر صفحات الويب الديناميكية.
وكيل المستخدم:*
عدم السماح:/?*?/
4: ينتهي عنوان URL المطابق للدولار
إذا كنت تريد اعتراض عناوين URL التي تنتهي بسلسلة معينة، فيمكنك استخدام $. على سبيل المثال، إذا كنت تريد اعتراض عناوين URL التي تنتهي بـ .asp:
وكيل المستخدم:*
عدم السماح:/*.asp$
يمكنك أيضًا فتح مواقع ويب جيدة نسبيًا لمعرفة كيفية كتابة ملفات الروبوت الخاصة بها، ثم إجراء التعديلات المقابلة وفقًا لاحتياجاتك الخاصة. يمكن أن تسمح ملفات الروبوتات للعناكب بقضاء المزيد من الوقت في المحتوى الذي سيتم الزحف إليه، لذلك يعد تحسين ملفات الروبوتات أمرًا ضروريًا.
هذه المقالة مأخوذة من Dongyang Gaofu: http://mygaofu.com يرجى الإشارة إلى الرابط عند إعادة الطباعة.
رئيس التحرير: مؤلف يانغيانغ أحب تحسين المساحة الشخصية