ملف Robots.txt، لقد سمع الأصدقاء عنه بشكل أو بآخر، أو ربما قاموا بكتابته بأنفسهم. في الواقع، لم أكتب ملف robots.txt بنفسي حتى الآن. لا يعني ذلك أنني لا أستطيع كتابته. أشعر فقط أنه لا يوجد شيء في المدونة يجب منعه من الزحف إليه بواسطة العناكب. ويجب أن يعلم الجميع أيضًا أن احتمالية الروابط الميتة في مدونة شخصية مستقلة يجب أن تكون قليلة جدًا، ولا داعي للتعامل مع الروابط الميتة كثيرًا، لذلك لا أعتقد أن ذلك ضروري. ومع ذلك، فإن طريقة كتابة ملف robots.txt هي إحدى المهارات التي يجب على مشرفي المواقع الأفراد إتقانها، ولا تزال استخداماتها واسعة جدًا. فيما يلي مقدمة مفصلة، والتي يمكن اعتبارها مراجعة لنفسك.
ما هو ملف robots.txt
انطلاقًا من اسم الملف، فهو يحتوي على لاحقة .txt، ويجب أن تعلم أيضًا أن هذا ملف نصي، وهو "المفكرة". الروبوتات، أولئك الذين يعرفون بعض اللغة الإنجليزية يجب أن يعرفوها جميعًا، تعني الروبوت بالنسبة لنا، يمثل هذا الروبوت روبوت محرك بحث، يمكنك تخمين أن هذا الملف كتبه خصيصًا للعناكب لقراءته. وتتمثل مهمتها في إخبار العنكبوت بأن تلك الأعمدة أو الصفحات لا تحتاج إلى الزحف إليها، وبطبيعة الحال، يمكنها أيضًا منع وصول عنكبوت معين بشكل مباشر. لاحظ أنه تم وضع هذا الملف في الدليل الجذر لموقع الويب للتأكد من أن العنكبوت يمكنه قراءة محتوى الملف في أسرع وقت ممكن.
دور ملفات الروبوتات
في الواقع، يتم استخدام ملف الروبوتات بشكل شائع من قبلنا لحظر الروابط الميتة داخل موقع الويب. يجب أن يعلم الجميع أن وجود عدد كبير جدًا من الروابط الميتة على موقع الويب سيؤثر على وزن موقع الويب. ومع ذلك، على الرغم من أن تنظيف الروابط الميتة على موقع الويب ليس أمرًا مزعجًا، إلا أن الأمر لا يزال يستغرق الكثير من الوقت، خاصة إذا كان هناك العديد من الروابط الميتة في موقع الويب، فسيكون تنظيفها أمرًا شاقًا للغاية في هذا الوقت سوف تنعكس فائدة ملف الروبوتات. يمكننا كتابة هذه الروابط الميتة مباشرةً في الملفات وفقًا للتنسيق لمنع العناكب من الزحف. إذا كنت تريد تنظيفها، فيمكنك تنظيفها ببطء في المستقبل. تحتوي بعض محتويات مواقع الويب على عناوين URL أو ملفات لا يريد مشرفو المواقع أن تزحف إليها العناكب، ويمكن أيضًا حظرها مباشرةً. لحماية العناكب، يتم استخدامها بشكل أقل عمومًا.
كيفية كتابة ملف الروبوتات
يجب أن تكون هذه النقطة أكثر أهمية. إذا كتبت شيئًا خاطئًا وحاولت حظره ولكنك فشلت، ولكن إذا كتبت شيئًا تريد التقاطه ولم تتمكن من العثور عليه في الوقت المناسب، فسوف تتكبد خسارة كبيرة. أولاً، نحتاج إلى معرفة العلامتين السماح وعدم السماح، إحداهما مسموحة والأخرى غير مسموح بها، بحيث يمكن للجميع فهم وظيفتها.
وكيل المستخدم: *
عدم السماح:
أو
وكيل المستخدم: *
يسمح:
تشير هاتان الفقرتان من المحتوى إلى أن كل شيء مسموح بالزحف إليه. في الواقع، يتم استخدام علامة Disallow لحظر عناوين URL والملفات، ما لم يكن موقع الويب الخاص بك يحتوي فقط على عدد قليل من الملفات التي تريد الزحف إليها واستخدام علامة السماح. وكيل المستخدم هذا: يتبعه اسم العنكبوت. يجب أن يكون الجميع على دراية بأسماء العناكب السائدة في محركات البحث. لنأخذ Soso Spider كمثال: Sosospider.
عندما نريد حظر Soso Spider:
وكيل المستخدم: sosospider
عدم السماح: /
يمكنك أن تجد أنه بالمقارنة مع الإذن أعلاه، فإن هذا العنكبوت التدريعي لديه "/" واحد فقط، وقد تغير معناه بشكل كبير، لذلك يجب أن تكون حذرًا عند الكتابة، ولا يمكنك حظر العنكبوت نفسه لمجرد أنك كتبت إضافيًا مائل ولكن لا أعرف. وأيضًا في user-agent: إذا كان اسم العنكبوت متبوعًا بـ "*" ثابتًا، فهذا يعني أنه لجميع العناكب.
لمنع الزحف إلى الدليل بواسطة عناكب محركات البحث، يكون رمز الإعداد كما يلي:
وكيل المستخدم: *
عدم السماح: /الدليل/
لاحظ أنه إذا كنت تريد منع الزحف إلى دليل ما، فيجب عليك الانتباه إلى "/" في اسم الدليل. بدون "/"، فهذا يعني أن الوصول إلى صفحة الدليل هذه والصفحات الموجودة ضمن الدليل محظور، ومع " /"، يعني الدخول إلى الدليل المحظور. وفي صفحة المحتوى أدناه، يجب التمييز بوضوح بين هاتين النقطتين. إذا كنت تريد حظر أدلة متعددة، فأنت بحاجة إلى استخدام
وكيل المستخدم: *
عدم السماح: /directory1/
عدم السماح: /directory2/
لا يمكن أن يكون هذا النموذج على شكل /الدليل 1/الدليل 2/.
إذا كنت تريد منع العناكب من الوصول إلى نوع معين من الملفات، على سبيل المثال، لمنع الزحف إلى الصور بتنسيق .jpg، فيمكنك ضبطه على:
وكيل المستخدم: *
عدم السماح: .jpg$
ما ورد أعلاه هو طريقة كتابة Shanghai SEO Xiaoma لملف الروبوتات للموقع بأكمله، وهو يتحدث فقط عن أنواع واحتياطات طريقة كتابة الروبوتات، وهناك وصف أقل قليلاً لطرق كتابة محددة مثل حظر العنكبوت المستهدف أو طرق الكتابة الأخرى لكنك تعرف معنى السماح وعدم السماح، فالتفكير فيه يمكن أن يستنتج معاني أخرى كثيرة للكتابة. هناك أيضًا طرق لكتابة علامات صفحات الويب التعريفية لبرامج الروبوت لصفحات ويب معينة، ولكن بشكل عام لا يتم استخدام الكثير منها.
تم تجميع ما ورد أعلاه بواسطة Shanghai seo pony http://www.mjlseo.com/ ، يرجى الإشارة عند إعادة الطباعة، شكرًا لك
رئيس التحرير: المساحة الشخصية لمؤلف يانغيانغ شياوما لاوما