كما تعلم، لا يمكنك دائمًا الاعتماد على المحركات العنكبوتية للعمل بكفاءة عند الوصول إلى موقعك أو فهرسته. من خلال الاعتماد كليًا على منافذها الخاصة، ستقوم العناكب بإنشاء الكثير من المحتوى المكرر، والتعامل مع الصفحات المهمة على أنها قمامة، وإدخالات رابط الفهرس التي لا ينبغي عرضها للمستخدمين، كما ستواجه مشكلات أخرى. هناك بعض الأدوات التي تتيح لنا التحكم الكامل في أنشطة العناكب داخل الموقع، مثل علامات meta robots، و robots.txt، والعلامات الأساسية، وغيرها.
سأتحدث اليوم عن حدود استخدام تكنولوجيا التحكم بالروبوت. من أجل منع العناكب من الزحف إلى صفحة معينة، يستخدم مشرفو المواقع أحيانًا تقنيات متعددة للتحكم في الروبوت لمنع محركات البحث من الوصول إلى صفحة ويب معينة. ولسوء الحظ، قد تتعارض هذه التقنيات أحيانًا مع بعضها البعض: ومن ناحية أخرى، يمكن لهذه القيود إخفاء بعض الروابط الميتة.
إذًا، ماذا يحدث عندما يتم حظر الوصول إلى ملف الروبوتات الخاص بالصفحة، أو عند استخدامه مع علامات noindex والعلامات الأساسية؟
مراجعة سريعة
قبل أن ندخل في الموضوع، دعونا نلقي نظرة على بعض التقنيات المقيدة للروبوتات السائدة:
علامات ميتابوت
تحدد علامة Meta Robots أوصاف ترتيب الصفحات لروبوتات محرك البحث. يجب وضع علامة meta robot في رأس ملف HTML.
العلامة الكنسي
العلامة الأساسية هي علامة تعريفية على مستوى الصفحة موجودة في رأس HTML لصفحة الويب. فهو يخبر محركات البحث بعناوين URL التي يتم عرضها بشكل صحيح. والغرض منه هو منع محركات البحث من الزحف إلى المحتوى المكرر، وفي الوقت نفسه تركيز وزن الصفحات المكررة على الصفحة الموحدة.
الرمز هو مثل هذا:
<link rel="canonical" href=" http://example.com/quality-wrenches.htm"/ >
علامات X روبوت
منذ عام 2007، دعمت Google ومحركات البحث الأخرى X-Robots-Tag كوسيلة لإخبار العناكب بإعطاء الأولوية للزحف وفهرسة الملفات للاستخدام. تعتبر هذه العلامة مفيدة للتحكم في فهرسة الملفات غير بتنسيق HTML، مثل ملفات PDF.
علامة الروبوت
يسمح ملف robots.txt لبعض محركات البحث بالدخول إلى موقع الويب، لكنه لا يضمن ما إذا كان سيتم الزحف إلى صفحة معينة وفهرستها. ما لم يكن ذلك لأسباب تتعلق بتحسين محركات البحث، فإن ملف robots.txt لا يستحق الاستخدام إلا إذا كان ضروريًا حقًا أو إذا كانت هناك برامج روبوت على الموقع تحتاج إلى حظرها. أوصي دائمًا باستخدام علامة البيانات التعريفية "noindex" بدلاً من ذلك.
تجنب الصراع
ليس من الحكمة استخدام طريقتين لتقييد دخول الروبوت في نفس الوقت:
· علامة noindex للروبوتات الفوقية
· العلامة الأساسية (عند الإشارة إلى عنوان URL مختلف)
· عدم السماح بملف Robots.txt
· علامة X-Robots (علامة روبوت x)
بقدر ما تريد الاحتفاظ بصفحتك في نتائج البحث، فإن اتباع نهج واحد أفضل دائمًا من نهجين. دعونا نلقي نظرة على ما يحدث عندما يكون هناك العديد من تقنيات التحكم في مسار الروبوتات في عنوان URL واحد.
علامات Meta Robots 'noindex' والعلامات الأساسية
إذا كان هدفك هو تمرير سلطة عنوان URL إلى عنوان URL آخر، وليس لديك طريقة أخرى أفضل، فيمكنك فقط استخدام العلامة Canonical. لا تضع نفسك في مشكلة مع "noindex" لعلامات meta robot. إذا كنت تستخدم طريقة الروبوتين، فقد لا ترى محركات البحث علامتك Canonical على الإطلاق. سيتم تجاهل تأثير نقل الوزن لأن علامة noindex الخاصة بالروبوت ستمنعه من رؤية العلامة Canonical!
Meta Robots 'noindex' وX-Robots-Tag 'noindex'
هذه التسميات زائدة عن الحاجة. عندما يتم وضع هاتين العلامتين في نفس الصفحة، لا أستطيع إلا أن أرى التأثير السلبي على تحسين محركات البحث. إذا كان بإمكانك تغيير ملف الرأس في metabot 'noindex'، فيجب ألا تستخدم علامة xbot.
ملف Robots.txt يمنع &Meta Robots 'noindex'
فيما يلي الصراعات الأكثر شيوعًا التي رأيتها:
السبب الذي يجعلني أفضّل "noindex" الخاص بـ Meta Robots هو أنه يمنع فهرسة الصفحة بشكل فعال، بينما يستمر في تمرير الوزن إلى الصفحات الأعمق المرتبطة بهذه الصفحة. وهذا نهج مربح للجانبين. لا يُسمح لملف robots.txt بتقييد محركات البحث بشكل كامل من رؤية المعلومات الموجودة على الصفحة (والروابط الداخلية القيمة داخلها)، وعلى وجه التحديد لا يمكن تقييد فهرسة عنوان URL. ما هي الفوائد التي كتبتها ذات مرة مقالة منفصلة حول هذا الموضوع.
إذا تم استخدام كلتا العلامتين، فسيتم ضمان ملف robots.txt لجعل Meta Robots 'noindex' غير مرئي للعناكب. سوف تتأثر بعدم السماح في ملف robots.txt وستفوتك جميع فوائد Meta Robots 'noindex'.
مصدر المقال هو www.leadseo.cn Shanghai Leadseo، خبير تحسين موقع الويب، يرجى الاحتفاظ بالمصدر عند إعادة الطباعة شكرًا جزيلاً لك!
المحرر المسؤول: المساحة الشخصية لـ Chen Long Author Frank12