من خلال مراقبة وتحليل سجلات موقع الويب، وجدنا أن العديد من صفحات موقع الويب تم الزحف إليها بشكل متكرر بواسطة العناكب، وهو أمر ليس جيدًا لتحسين موقع الويب. فكيف نمنع العناكب من الزحف إلى صفحات موقع الويب بشكل متكرر؟
1. استخدم ملف الروبوتات لحظر هذه الصفحة، والطريقة المحددة هي كما يلي:
Disallow: /page/ #تقييد الزحف إلى صفحات WordPress إذا كنت بحاجة إلى التحقق من موقع الويب الخاص بك، فيمكنك أيضًا كتابة العبارات التالية معًا لتجنب وجود عدد كبير جدًا من الصفحات المكررة. * عدم السماح: /الفئة/*/صفحة/* # تقييد الزحف إلى صفحات الفئات* عدم السماح:/tag/ # تقييد الزحف إلى صفحات العلامات* عدم السماح: */trackback/ # تقييد الزحف إلى محتوى Trackback* عدم السماح:/الفئة /* #تقييد الزحف لجميع قوائم الفئات ما هو العنكبوت؟ ويسمى أيضًا الزاحف وهو في الواقع برنامج. تتمثل وظيفة هذا البرنامج في قراءة بعض المعلومات طبقة تلو الأخرى على طول عنوان URL لموقع الويب الخاص بك، وإجراء معالجة بسيطة، ثم إعادتها إلى الخادم الخلفي للمعالجة المركزية. يجب علينا أن نفهم تفضيلات العناكب من أجل تحسين الموقع بشكل أفضل. بعد ذلك، دعونا نتحدث عن عملية عمل العناكب.
2. يواجه العنكبوت صفحات ديناميكية
تواجه العناكب مشاكل عند معالجة معلومات صفحة الويب الديناميكية. تشير صفحات الويب الديناميكية إلى الصفحات التي يتم إنشاؤها تلقائيًا بواسطة البرامج. الآن بعد أن تم تطوير الإنترنت، هناك المزيد والمزيد من لغات البرمجة النصية لتطوير البرامج، ويتم تطوير المزيد والمزيد من أنواع صفحات الويب الديناميكية بشكل طبيعي، مثل jsp وasp وphp واللغات الأخرى. يصعب على العناكب معالجة صفحات الويب التي تم إنشاؤها بواسطة لغات البرمجة النصية هذه. عند التحسين، يؤكد المحسنون دائمًا على عدم استخدام كود JS قدر الإمكان للتعامل بشكل مثالي مع هذه اللغات، تحتاج العناكب إلى نصوص برمجية خاصة بها. عند تحسين موقع الويب، قم بتقليل بعض رموز البرامج النصية غير الضرورية لتسهيل الزحف العنكبوتي وتجنب الزحف المتكرر للصفحة!
3. وقت العنكبوت
يتغير محتوى الموقع بشكل متكرر، إما من خلال التحديثات أو تغييرات القالب. تقوم Spiders أيضًا بتحديث محتوى صفحات الويب والزحف إليها باستمرار، وسيقوم مطورو Spider بتعيين دورة تحديث للزاحف، مما يسمح له بفحص موقع الويب وفقًا للوقت المحدد لرؤية ومقارنة الصفحات التي تحتاج إلى تحديث، مثل: الصفحة الرئيسية. ما إذا كان قد تم تغيير العنوان، وأي الصفحات هي صفحات جديدة على الموقع، وأي الصفحات هي روابط ميتة انتهت صلاحيتها، وما إلى ذلك. يتم تحسين دورة التحديث لمحرك البحث القوي باستمرار، لأن دورة التحديث لمحرك البحث لها تأثير كبير على معدل الاستدعاء لمحرك البحث. ومع ذلك، إذا كانت دورة التحديث طويلة جدًا، فسيتم تقليل دقة البحث وسلامته في محرك البحث، ولن تكون بعض صفحات الويب التي تم إنشاؤها حديثًا قابلة للبحث إذا كانت دورة التحديث قصيرة جدًا، وسيكون التنفيذ الفني أكثر صعوبة سوف يتأثر النطاق الترددي، مما يتسبب في إهدار موارد الخادم.
4. استراتيجية العنكبوت في الزحف غير المتكرر
عدد صفحات الويب على موقع الويب كبير جدًا، والزحف العنكبوتي هو مشروع ضخم يتطلب اختراق صفحات الويب الكثير من النطاق الترددي للخط، وموارد الأجهزة، وموارد الوقت، وما إلى ذلك. إذا تم الزحف إلى نفس صفحة الويب بشكل متكرر، فلن يؤدي ذلك إلى تقليل كفاءة النظام بشكل كبير فحسب، بل سيؤدي أيضًا إلى حدوث مشكلات مثل انخفاض الدقة. عادةً ما تصمم أنظمة محركات البحث استراتيجية لعدم الزحف إلى صفحات الويب بشكل متكرر، وذلك لضمان الزحف إلى نفس صفحة الويب مرة واحدة فقط خلال فترة زمنية معينة.
هذه هي المقدمة حول كيفية تجنب الزحف المتكرر لصفحات موقع الويب. تم تحرير المقالة بواسطة شبكة التجارة العالمية.
رئيس التحرير: المساحة الشخصية للمؤلف Chen Long Fuzhou SEO Planning