لقد أكدت دائمًا على تحسين التفاصيل من قبل. نعم، متطلبات Baidu الحالية لمواقع الويب هي معرفة ما إذا كانت التفاصيل الخاصة بك جيدة أم لا حسنًا بالنسبة لنا، قد يكون هناك العديد من مشرفي المواقع الجدد الذين لا يعرفون ما هي الروبوتات.
1. أصل ملف Robots.txt
يجب أن نفهم أولاً أن Robots ليست أمرًا أو تعليمات. إن Robots عبارة عن اتفاقية طرف ثالث بين موقع ويب ومحرك بحث. كان محتوى الاتفاقية هو المحتوى الموجود في ملف Robots.txt في الأيام الأولى حماية الخصوصية على مواقع الويب موجودة في ملف A txt الخاص بنا في الدليل الجذر لموقع الويب.
2. دور ملف Robots.txt
عندما نطلق موقعنا الإلكتروني، سيكون هناك العديد من العوامل التي لا يمكن مقاومتها والتي تصدرها محركات البحث، مما سيؤدي إلى انخفاض عام في جودة صفحات الويب لدينا وانطباع سيئ عن موقعنا على محركات البحث. ويتمثل دور الروبوتات في حظرها عوامل لا تقاوم تمنع العناكب من إطلاقها، فما هي الصفحات التي يجب أن نحجبها؟
1. حظر بعض الصفحات التي لا تحتوي على محتوى: سأعطيك مثالا للتوضيح، مثل: صفحة التسجيل، صفحة تسجيل الدخول، صفحة التسوق، صفحة النشر، صفحة الرسائل، الصفحة الرئيسية للبحث، إذا كان لديك صفحة خطأ 404، عليك يجب أن يمنعه أيضًا.
2. حظر الصفحات المكررة: إذا وجدنا أن موقعنا يحتوي على صفحتين لهما نفس المحتوى ولكن بمسارات مختلفة، فيجب علينا استخدام الروبوتات لحظر الصفحة، وسيظل العنكبوت يزحف إليها ولكنه لن يحررها. يمكننا استخدام Google Webmaster أدوات لحظر الصفحة التحقق مباشرة من عدد الصفحات المحظورة.
3. قم بحظر بعض صفحات الارتباط الميتة
نحتاج فقط إلى حظر تلك الصفحات ذات الخصائص المشتركة. حقيقة أن العناكب لا تستطيع الزحف إليها لا تعني أن العناكب لا تستطيع الزحف إلى العنوان وما إذا كان من الممكن الزحف إليه هما مفهومان مختلفان التعامل معها لا نحتاج إلى حظر الروابط الميتة، على سبيل المثال، نحتاج إلى حظر الروابط الميتة الناتجة عن مسارنا والتي لا يمكن التعامل معها.
4. حظر بعض المسارات الأطول: يمكننا استخدام الروبوتات لحظر المسارات الطويلة التي تتجاوز مربع إدخال عنوان URL.
3. استخدام ملف Robots.txt
1. إنشاء ملف Robots.txt
قم بإنشاء ملف مفكرة جديد محليًا، وقم بتسميته Robots.txt، ثم ضع هذا الملف في الدليل الجذر الخاص بنا، بحيث يتم إنشاء ملف Robots.txt الخاص بنا. تأتي بعض البرامج مفتوحة المصدر مثل Dreamweaver مع ملف Robots تحتاج فقط إلى تنزيله من الدليل الجذر.
2. القواعد المشتركة
يتم استخدام بناء جملة وكيل المستخدم لتحديد برامج زحف محركات البحث. المنع يعني الممنوع السماح يعني مسموح
دعونا نتعرف أولاً على زواحف محركات البحث وهي العناكب أو الروبوتات.
بالنسبة لعنكبوت Baidu نكتب Baiduspider في Robots، وبالنسبة لـ Google robot نكتب Googlebot.
دعونا نقدم طريقة الكتابة، السطر الأول لدينا هو تعريف محرك البحث أولاً.
وكيل المستخدم: Baiduspider (ينبغي إيلاء اهتمام خاص لحقيقة أنه عندما نكتب Robots، يجب أن تكون هناك مسافة بعد النقطتين. وفي الوقت نفسه، إذا أردنا تعريف جميع محركات البحث، فيجب علينا استخدام * بدلاً من Baiduspider )
عدم السماح: /admin/
معنى هذه الجملة هو إخبار Baidu Spider بعدم تضمين صفحات الويب في مجلد المشرف على موقع الويب الخاص بي. إذا قمنا بإزالة الشرطة المائلة بعد المشرف، فإن المعنى يتغير تمامًا، وهذا يعني إخبار Baidu Spider بعدم تضمين الصفحات في المشرف مجلد موقع الويب الخاص بي جميع صفحات الويب في مجلد المسؤول في الدليل الجذر الخاص بي.
"السماح" يعني "مسموح به" أو "غير محظور" بشكل عام، لن يتم استخدامه بمفرده مع Disallow. والغرض من استخدامه معًا هو تسهيل حماية الدليل والتطبيقات المرنة، وتقليل استخدام التعليمات البرمجية على سبيل المثال لنأخذ / هناك 100000 ملف في مجلد SEO/، وهناك ملفان يجب الزحف إليهما. لا يمكننا كتابة عشرات الآلاف من الأكواد، الأمر الذي سيكون متعبًا للغاية. نحتاج فقط إلى بضعة أسطر للعمل معاً.
وكيل المستخدم: *(يحدد جميع محركات البحث)
عدم السماح: /seo/ (تعطيل إدراج مجلدات seo)
السماح: /seo/ccc.php
السماح: /seo/ab.html
السماح بالتقاط هذين الملفين وإدراجهما في نفس الوقت، حتى نتمكن من حل المشكلة باستخدام أربعة أسطر من التعليمات البرمجية. قد يتساءل بعض الأشخاص عما إذا كان وضع Disallow في المقدمة أو السماح به في المقدمة أكثر توحيدًا، أو ما إذا كان Disallow يتم وضعها في الجبهة.
تم إنشاء هذه المقالة في الأصل بواسطة http://www.51diaoche.net، ونرحب بإعادة الطباعة. يرجى الإشارة إلى المؤلف الأصلي.
رئيس التحرير: المساحة الشخصية لمؤلف Yangyang Longfeng Hoisting Machinery