نحن نعلم أن عددًا كبيرًا من مشرفي المواقع يبحثون عن طريقة لمنع العناكب من الزحف إلى صفحاتهم على مواقعهم الإلكترونية، ويقومون بذلك أيضًا عن طريق استخدام ملف robot.txt. على الرغم من أن هذه ممارسة جيدة بالفعل، إلا أن المشكلة تظهر نفسها أيضًا: حدوث ارتباك عند استخدام ملف robot.txt لمنع Google/Yahoo!/MSN أو بعض عناكب محركات البحث الأخرى من الزحف، إليك شرح مختصر:
منع الزحف عبر ملف Robots.txt: لا ترغب بعض عناوين URL في الوصول إليها، ولكن لا يزال من الممكن الزحف إليها وظهورها في صفحات نتائج محرك البحث.
محظور بواسطة NoIndex للعلامة META: يمكن الوصول إليه، لكنه لا يريد أن يتم الزحف إليه ولا يريد أن يتم إدراجه في نتائج البحث.
الحظر عن طريق تعطيل الزحف إلى الروابط الموجودة على الصفحة: هذه ليست خطوة ذكية للغاية لأن هناك بعض الروابط الأخرى التي قد لا تزال ترغب في الزحف إلى الصفحة لفهرستها (إذا كنت لا تهتم، فسيؤدي ذلك إلى إضاعة العناكب على صفحتك! يمكنك أيضًا القيام بذلك إذا كنت تريد زيادة وقت البحث، لكن لا تعتقد أن القيام بذلك سيمنع ظهوره في صفحة نتائج محرك البحث)
إليك مثال بسيط على الرغم من أن الزحف العنكبوتي مقيد في ملف robot.txt، إلا أنه سيظل يظهر في نتائج بحث Google.
(ملفات robot.txt صالحة أيضًا للنطاقات الفرعية)
يمكننا أن نرى أن الملف /library/nosearch/ الخاص بموقع about.com قد تم حظره. ويوضح الشكل التالي النتائج عندما نبحث عن عنوان URL في هذا الملف في Google:
لاحظ أن Google لا يزال لديه 2760 نتيجة بحث في ما يسمى بالفئات المنظمة. ولم يزحفوا إلى هذه الصفحات، فكل ما رأوه هو عنوان رابط بسيط، لا وصف ولا عنوان، لأن جوجل لم يتمكن من رؤية محتوى هذه الصفحات.
دعونا نتخيل أيضًا أنه إذا كان لديك عدد كبير من صفحات الويب التي لا تريد أن يتم الزحف إليها بواسطة محركات البحث، فسيظل يتم احتساب عناوين URL هذه وتتراكم حركة المرور وعوامل التصنيف المستقلة الأخرى غير المعروفة، لكن لا يمكنها متابعة الرابط، لذلك لا يمكن أبدًا رؤية الروابط المتدفقة منها، انظر الصورة أدناه:
فيما يلي طريقتان مناسبتان:
1. احفظ حركة مرور الارتباط هذه باستخدام الأمر nofollow عند الارتباط بالأدلة المحظورة في ملف robot.txt.
2. إذا كنت تعرف تدفقات الارتباطات الثابتة لهذه الصفحات المحظورة (خاصة تلك التي تأتي عن طريق الروابط الخارجية)، فيمكنك التفكير في استخدام noindex الخاص بـ meta والمتابعة بدلاً من ذلك، حتى تتمكن العناكب من تخطي تدفقات الارتباطات هذه لتوفير الوقت لاسترداد المزيد من الصفحات موقع الويب الخاص بك الذي يحتاج إليه!
هذه المقالة مأخوذة من تقنية Reamo Personal SEO، مدونة الترويج عبر الإنترنت: http://www.aisxin.cn يرجى الإشارة إلى المصدر عند إعادة الطباعة.