يعد ملف Robots.txt عبارة عن نص TXT بسيط، لكن مُحسّنات محرّكات البحث (SEO) الذين يركزون على إنشاء موقع الويب وتحسين موقع الويب يعرفون جميعًا أهميته. يمكن أن يؤدي وجوده إلى حظر الصفحات التي لا تريد أن تزحف إليها محركات البحث، أو يمكن أن يكون مثل صورة كما ترشد الخريطة الطريق للعناكب. عندما يزحف العنكبوت إلى موقع ما، فإن أول ما يصل إليه هو ما إذا كان ملف Robots.txt موجودًا، ثم يقوم بالوصول إلى الفهرس وفقًا للإرشادات الموجودة في المحتوى، وإذا لم يكن الملف موجودًا، فإنه يصل إليه بالتسلسل وفقًا لـ الروابط الموجودة في الصفحة. لذلك، يمكننا استخدامه لحظر بعض الأدلة التي لا تحتاج إلى فهرستها بواسطة محركات البحث، أو وصف خريطة الموقع في ملف Robots.txt لتوجيه العناكب للزحف، وهذا قوي جدًا لأمان موقع الويب أو توفير النطاق الترددي للخادم وتوجيه الفهرسة يمكن القول أنها حققت تأثير تعزيز نقاط القوة لدى الفرد وتجنب نقاط الضعف لديه، فلنقم بتحليل مفصل أدناه:
1. استخدم ملف Robots.txt لحفظ النطاق الترددي للخادم
بشكل عام، نادرًا ما يقوم مشرفو المواقع بإجراء مثل هذا الإعداد، ومع ذلك، عندما يكون لدى الخادم عدد كبير من الزيارات ومحتوى كبير جدًا، فمن الضروري إجراء إعداد لحفظ النطاق الترددي للخادم، مثل حظر المجلدات مثل: الصورة، وهي. مفيد لفهرسة محرك البحث، وليس له أهمية عملية ويهدر الكثير من النطاق الترددي. بالنسبة لموقع ويب للصور، يكون الاستهلاك أكثر مذهلة، لذا فإن استخدام ملف Robots.txt يمكن أن يحل هذه المشكلة بالكامل.
2. حماية دليل أمان الموقع
بشكل عام، عند إعداد ملف Robots.txt، يجب تعيين دليل الإدارة وقاعدة البيانات ودليل النسخ الاحتياطي لمنع العناكب من الزحف. وإلا، فقد يحدث تسرب للبيانات بسهولة ويؤثر على أمان موقع الويب. بالطبع، هناك أدلة أخرى لا يريد المسؤول أن تقوم العناكب بفهرستها، والتي يمكن أيضًا تعيينها، بحيث يمكن لمحركات البحث الالتزام الصارم بقاعدة الفهرسة هذه.
3. منع محركات البحث من فهرسة الصفحة
هناك دائمًا بعض الصفحات على موقع الويب التي لا نريد أن يراها الجمهور. في الوقت الحالي، يمكننا استخدام ملف Robots.txt لإعدادها لمنع العناكب من فهرستها، على سبيل المثال، قبل بضعة أيام، موقع الإنترنت الخاص بي كانت السرعة بطيئة وقمت بتحديث مقال، مما أدى إلى النشر المستمر والمتكرر، قمت بالبحث 3 مرات وتم فهرسة جميع النتائج بواسطة محركات البحث. ماذا علي أن أفعل؟ من المؤكد أن المحتوى المكرر ليس جيدًا لتحسين موقع الويب، وفي الوقت الحالي، يمكنك تعيين ملف Robots.txt لحظر الصفحات الزائدة عن الحاجة.
4. خريطة موقع رابط Robots.txt
وبما أن أول ما ينظر إليه العنكبوت عند زيارة موقع ما هو ملف Robots.txt، فيمكننا وضع خريطة الموقع فيه، مما سيساعد العناكب على فهرسة أحدث المعلومات وتجنب العديد من الأخطاء غير الضرورية. على سبيل المثال، يتم عرض صفحة الخريطة الخاصة بشركة إنشاء مواقع الويب الاحترافية Pilot Technology: http://www.****.net.cn/ sitemap.xml، كما أن إضافتها إلى ملف Robots.txt تساعد بشكل أكبر على فهرسة محرك البحث . ليس عليك الذهاب إلى محركات البحث كل يوم لإرسال ملفات الخرائط، أليس هذا مناسبًا جدًا؟
5. طرق الكتابة والاحتياطات
يجب توحيد أسلوب كتابة ملف Robots.txt. هناك العديد من الأشخاص الذين لا يهتمون بالكتابة. أولًا: User-agent:* يجب أن يكون مكتوبًا، *يعني لجميع محركات البحث. عدم السماح: (دليل الملف) لا يحتوي على أقواس، مما يعني أن الفهرسة بمحرك البحث محظورة، وإليك مثال للتوضيح:
مثال 1:
وكيل المستخدم:*
عدم السماح:/
يشير إلى أن أي وصول إلى فهرس محرك البحث محظور،
مثال 2:
وكيل المستخدم:*
عدم السماح:/seebk
يشير إلى أن فهارس محركات البحث محظورة من الوصول إلى دليل Seebk.
مثال 3:
وكيل المستخدم:baiduspider
وكيل المستخدم:*
عدم السماح:/
يشير إلى أنه يُسمح فقط بالوصول إلى فهرس Baidu Spider المكدس: Baidu: baiduspider، Google: googlebot، Soso: sosospider، Alexa: ia_archiver، Yahoo: Yahoo Slurp
مثال 4:
وكيل المستخدم:*
عدم السماح:.jpg$
لمنع الارتباط السريع لصور jpg، لا تحتاج إلى تعيينه إذا كان النطاق الترددي الخاص بك كافيًا.
بوستسكريبت: قم بتحسين ملف Robots.txt لتعظيم نقاط القوة لديك وتجنب نقاط الضعف لديك. إن القيام بعمل جيد في ملف Robots.txt سيجعل من السهل على موقع الويب تحسينه وتطويره بسلاسة. تمت كتابة هذه المقالة في الأصل بواسطة www.joyweb.net.cn !
المؤلف المساحة الشخصية للشبكة الثنائية