-
ملف robots.txt هو الملف الأول الذي تعرضه عناكب محرك البحث عندما تزحف إلى موقعك. يخبر هذا الملف برنامج عنكبوت محرك البحث بالملفات الموجودة على موقعك المسموح بعرضها وتلك التي لا يُسمح بذلك. في الوقت الحاضر، لا تزال محركات البحث الرئيسية ملتزمة بهذه اللائحة. لدى Hefei SEO فهم عميق لهذا الأمر. قام هذا الموقع بإلغاء حظر ملف robots.txt في حوالي الساعة 11 مساءً يوم 20 للسماح لعناكب محرك البحث بالوصول إليه. لقد قمت بالتحقق منه وأغلقه Baidu بالفعل وقبلته Google الثانية أيضًا.
لقد قيل ما يكفي، دعونا ننكب على العمل. ملف robots.txt هو ملف نصي. يجب أن يكون اسمه "robots.txt" ويتم تحميله إلى الدليل الجذر للموقع. ويعتبر التحميل إلى دليل فرعي غير صالح لأن برامج الروبوت الخاصة بمحرك البحث ستبحث عنه فقط في الدليل الجذر لاسم النطاق الخاص بك . وثيقة. مرة أخرى، ليست هناك حاجة لإضاعة وقت الجميع هنا إذا لم تكن لديك المعرفة الأساسية بـ Hefei SEO. يمكنك الانتقال إلى مركز مساعدة بحث Baidu ومدونة Google Administrator هنا، حيث نقدم بشكل أساسي ملف robots.txt دور SEO في عملية تحسين الموقع.
1. نصائح لاستخدام ملف robots.txt المفيدة لتحسين موقع الويب
1. يوفر إنشاء موقع على الإنترنت طريقة ملائمة. عندما نقوم بحل اسم المجال إلى الخادم، يمكننا الوصول إلى الموقع، ولكن في هذا الوقت لم يتم تصميم الموقع بشكل جيد ولا تزال العلامات الوصفية في حالة من الفوضى. تم الزحف إلى الموقع في الوقت الحالي وإدراجه بواسطة عناكب محركات البحث، وإذا تم تغييره في ذلك الوقت، فسيكون ذلك ضارًا جدًا بتحسين محركات البحث. في الوقت الحالي، يمكنك استخدام ملف robots.txt لتعيين كافة عناكب محركات البحث على عدم السماح بالاستعلام عن كافة محتويات الموقع. تنسيق بناء الجملة الخاص به هو:
وكيل المستخدم: *
عدم السماح: /
2. تخصيص عناكب محركات البحث للزحف إلى محتوى محدد، مما يتيح لك اختيار كيفية التعامل مع محركات البحث بناءً على ظروف الموقع. هناك معنيان هنا.
(1) محرك بحث مخصص. إذا كنت تزدري ما تفعله Du Niang، يمكنك أن تجعلها تحدق بك بهذه الطريقة. تنسيق بناء الجملة الخاص به هو:
وكيل المستخدم: Baiduspider
عدم السماح: /
ملاحظة: أسماء روبوتات محركات البحث الشائعة.
اسم محرك البحث
بايدوسبيدر http://www.baidu.com
سكوتر http://www.altaVista.com
ia_archiver http://www.Alexa.com
جوجل بوت http://www.google.com
FAST-WebCrawler http://www.alltheweb.com
التهم http://www.inktomi.com
MSNBOT http://search.msn.com
(2) تخصيص محتوى الموقع. وهذا يعني أنه يمكنك تحديد دليل للسماح للعناكب بالزحف، ودليل لمنع العناكب من الزحف. على سبيل المثال، يُسمح لجميع عناكب محركات البحث بالزحف إلى المحتوى ضمن الدليل abc، ولكن يُحظر عليها الزحف إلى المحتوى ضمن الدليل def. تنسيق بناء الجملة هو:
وكيل المستخدم: *
السماح: /اي بي سي/
عدم السماح: /def/
3. توجيه محركات البحث للزحف إلى محتوى موقع الويب. الطرق الأكثر شيوعًا هنا هي
(1) قم بتوجيه العناكب للزحف إلى خريطة موقعك. تنسيق بناء الجملة الخاص به هو:
وكيل المستخدم: *
خريطة الموقع:خريطة الموقع-URL
(2) منع العناكب من الزحف إلى موقع الويب الخاص بك بحثًا عن محتوى مكرر.
4. مشكلة صفحة الخطأ 404. إذا قام خادمك بتخصيص صفحة خطأ 404 ولم يقم بتكوين ملف robots.txt في الدليل الجذر لموقعك، فسوف تتعامل معه عناكب محركات البحث على أنه ملف robots.txt، مما سيؤثر على إدراج صفحات موقع الويب الخاص بك بواسطة محركات البحث .
2. كيفية كتابة ملف robots.txt لبناء مواقع الويب باستخدام برامج محددة. هذه مجرد أمور عامة، عليك أن تقررها وفقًا لحالتك المحددة.
1. كيفية كتابة ملف robots.txt لبناء موقع DedeCMS
وكيل المستخدم: *
عدم السماح: /plus/feedback_js.php
عدم السماح: /plus/feedback.php
عدم السماح: /plus/mytag_js.php
عدم السماح: /plus/rss.php
عدم السماح: /plus/search.php
عدم السماح: /plus/recommend.php
عدم السماح: /plus/stow.php
عدم السماح: /plus/count.php
عدم السماح: / تضمين
عدم السماح: / المعابد
عدم السماح: /عضو
2. كيفية كتابة ملف robots.txt لبناء موقع ووردبريس
وكيل المستخدم: *
عدم السماح: /wp-admin
عدم السماح: /wp-content/plugins
عدم السماح: /wp-content/themes
عدم السماح: /wp-includes
عدم السماح: /؟s=
خريطة الموقع: http://www.***.com/sitemap.xml
3. كيفية كتابة ملف robots.txt لبناء موقع phpcms
وكيل المستخدم: *
عدم السماح: /admin
عدم السماح: / البيانات
عدم السماح: / القوالب
عدم السماح: / تضمين
عدم السماح: / اللغات
عدم السماح: /api
عدم السماح: /fckeditor
عدم السماح: / التثبيت
عدم السماح: /count.php
عدم السماح: / تعليق
عدم السماح: / سجل الزوار
عدم السماح: / إعلان
عدم السماح: /عضو
عدم السماح: /الرسالة
عدم السماح: / العنكبوت
عدم السماح: /yp
عدم السماح: / التصويت
عدم السماح: /فيديو
4. كيفية كتابة ملف robots.txt في منتدى القرص
وكيل المستخدم: *
السماح: /redirect.php
السماح: /viewthread.php
السماح: /forumdisplay.php
عدم السماح: /؟
عدم السماح: /*.php
على الرغم من أن الموضوع قديم، إلا أنه لا يزال هناك الكثير لنتعلمه. يقول بعض الأشخاص أن إعداد ملف robots.txt سيؤدي إلى خطر التعرض للهجوم من قبل "أشخاص متعمدين". ليس فقط برنامج بناء موقع الويب نفسه، بل أيضًا أمان الخادم وما إلى ذلك). من Hefei SEO: http://www.anhuiseo.org يرجى الإشارة إلى مصدر إعادة الطباعة.
بفضل qhpf298 لمساهمته