لقد قمت بالأمس بتحليل سجلات IIS، ولحسن الحظ، جاءت العناكب من Baidu وGoogle وYahoo للزحف، ويبدو أن الصفحات التي لم يتم الزحف إليها من قبل قد تم الزحف إليها بنجاح بواسطة Google بعد بعض إرشادات الارتباط الخارجي وصلت وأدرجتها، لكنني وجدت أيضًا بعض المشكلات. هناك العديد من سجلات إرجاع الصفحات 404 في سجلات الزحف العنكبوتية من Google، وهذا يعني أنني لم أقم بتنظيف الكود، وهناك الكثير من القتلى الروابط. ثم قمت بتسجيل الدخول إلى Google واستخدمت أداة إدارة موقع الويب لتحليلها. يا إلهي، كان هناك 210 رابطًا معطلاً، وأعتقد أن جودة صفحاتي لم تكن جيدة جدًا بالنسبة لـ Google، ولكنني واجهت مشكلة في التحقق من العديد من الصفحات البالغ عددها 404 صفحات وحده تغييرها هذا ثم فكرت في ملف robots.txt.
نظرًا لأن صفحات 404 هنا تنتهي بشكل أساسي بـ asp، فبالنسبة لصفحة 404 الكبيرة هذه، يمكننا إعدادها على النحو التالي:
وكيل المستخدم: Googlebot
عدم السماح:/*.asp$
لقد جئت إلى هنا هذا الصباح لتحليل سجلات سجلات زحف Google الليلة الماضية، وكما هو متوقع، لم أعد أهتم بهذه الصفحات التي تنتهي بـ asp.
إذا كان عدد كبير من الروابط الميتة لا يقدم صفحات عادية، فمن غير المناسب استخدام ملف robots.txt، لذلك هناك طريقة أخرى تتمثل في تعيين صفحة 404 يدويًا. بشكل عام، يجب أن توفر الواجهة الخلفية التي يوفرها الموفر المضيف عملية 404 ، إذا كان برنامج .net، فيمكنك تعيين صفحة الخطأ في web.config. أقوم بتسجيل الدخول مباشرة إلى الخادم لتعديل صفحة إرجاع الكود 404 التي تتم معالجتها بواسطة IIS، باختصار، سيساعد تغيير صفحة 404 في توجيه العملاء للانتقال إلى صفحات أخرى مفيدة لجذب العملاء.
تم نشر هذه المقالة بواسطة شبكة Koushuiyu Web Tutorial Network (http://www.koushuiyu.cn)، يرجى الإشارة إلى إعادة الطبع، شكرًا لك!