العناكب والروبوتات والزواحف هم أصدقاؤك. إذا كنت تريد تحسين محركات البحث، فأنت لا تحتاج فقط إلى الإعجاب بهم، ولكنك تحتاج في الواقع إلى بذل قصارى جهدك لجذبهم إلى موقعك.
من حيث تحسين محركات البحث، فإن العناكب والروبوتات والزواحف كلها تقريبًا نفس الشيء، ولكن لا تقلق كثيرًا، فلا أحد منهم لديه أرجل أو قرون استشعار. لذا، دعونا نستخدم كلمة "الزاحف" لنسميها جميعًا. ضع في اعتبارك أنه في بعض الأحيان تحتاج إلى جذب هذه الروبوتات، أو إخفاء موقعك على أنه "طعم عنكبوت". كل ذلك يقع تحت نفس المبدأ. إذًا، ما هو الزاحف؟ لماذا يجب أن ندعوه إلى موقع الويب الخاص بي؟ الزاحف عبارة عن برنامج أو برنامج نصي آلي (يُسمى غالبًا روبوت، وهو اختصار لـ robot) يستمر في العمل بقوة على عناوين URL المختلفة على الإنترنت. تزحف برامج الزحف من عنوان URL إلى آخر من خلال الروابط الموجودة على صفحات الويب التي تتصفحها.
تقوم محركات البحث الكبرى باستمرار بإرسال برامج الزحف الخاصة بها لتصفح المساحة الشاسعة من الإنترنت. يعثر الزاحف أولاً على كل صفحة، ثم ينسخ النص والرمز الموجود على الصفحة ويخزنهما على خادم الفهرس الضخم الخاص به. وتسمى هذه العملية بالزحف. هذا الفهرس الضخم هو في الواقع قاعدة بيانات تحتوي على جميع صفحات موقع الويب التي يمكن لبرامج زحف محركات البحث الوصول إليها بنجاح. يتم استخدام الفهرس كمستودع للحصول على النتائج بسرعة كبيرة عند البحث. عندما تقوم بإدخال مصطلح بحث على أحد محركات البحث مثل جوجل وإرساله، فإنك في الواقع تبحث في كل المحتوى المفهرس بواسطة محرك البحث، وليس المحتوى الفعلي للإنترنت في ذلك الوقت. وبطبيعة الحال، تتغير صفحات الويب. في بعض الأحيان، تتغير صفحات الويب ومواقع الويب في دورات قصيرة جدًا. بالإضافة إلى ذلك، تظهر مواقع الويب وصفحات الويب الجديدة بوتيرة سريعة طوال الوقت. ولهذا السبب تتواجد برامج الزحف دائمًا، وتتصفح الويب مرارًا وتكرارًا، وتقوم بإنشاء معلومات فهرس محرك البحث وتحديثها. المحتوى الموجود في مكتبة فهرس محرك البحث هو ما يراه الزاحف عند تصفح الويب. ما يراه الزاحف قد يكون مختلفًا تمامًا عما يراه الزائر العادي. إذا كنت تريد معرفة محتوى صفحة الويب التي يراها الزاحف، فيمكنك استخدام متصفح IE للوصول إليه، ثم اضغط على مجموعة المفاتيح Ctrl-A وتصفح المحتوى المنسوخ (إذا كان نظام Mac، يمكنك ذلك استخدم مجموعة مفاتيح Apple-U). أو يمكنك استخدام Google والنقر على الرابط "Web Snapshot" الموجود أسفل نتائج البحث لمشاهدة اللقطات الأخيرة للصفحة التي التقطها الزاحف. أولاً وقبل كل شيء، تقوم برامج الزحف بدمج الكلمات والعبارات من كل صفحة تقوم بالزحف إليها. يقومون بفهرسة النص والروابط. عندما تقوم بإدخال مصطلح بحث في مربع البحث، يحاول محرك البحث العثور على صفحة الويب التي تتطابق بشكل أفضل مع عبارة البحث. تمتلك محركات البحث المختلفة برامج زحف فريدة خاصة بها، وكما تتوقع، لا تعمل جميعها بنفس الطريقة تمامًا. تقوم بعض برامج الزحف باسترداد كل المحتوى الموجود على الصفحة، بينما قد يهتم البعض الآخر بأجزاء معينة فقط منها. تعتقد معظم برامج الزحف أن عنوان الصفحة والمحتوى الموجود بالقرب من أعلى الصفحة أكثر أهمية من المحتوى الموجود أسفل الصفحة. غالبًا ما تواجه برامج الزحف عقبات وتتغلب عليها عند الزحف إلى موقع ويب، على سبيل المثال، عندما لا توجد روابط تسمح لها بمواصلة الزحف، أو تواجه مشكلات ناجمة عن تقنية أو تعليمات برمجية غريبة. كما قد يقع الزواحف في الفخاخ بسبب عوائق فنية تمنعهم من إكمال عملهم بسهولة. لذا، فإن جزءًا مهمًا من الخطوة الأولى في أي جهد لتحسين محركات البحث هو تسهيل اكتشاف برامج الزحف لموقعك والزحف إليه. إذا لم يتم الزحف إلى موقعك بواسطة برامج الزحف، فلن تقوم بإنشاء فهارس محركات البحث الخاصة بموقعك. إذا لم تتم فهرسة الصفحة، فلن يجدها الباحثون في محركات البحث لأن محركات البحث تعتقد أن الصفحة غير موجودة. وفي الوقت نفسه، قد يجد الباحثون صفحات أخرى، على الأرجح تلك الخاصة بمنافسيك. الروابط وبنية الموقع المصممة جيدًا هي الجسور التي تنشئ العلاقة بين صفحات الويب الفردية وأقسام موقع الويب وصفحات وأقسام الويب الأخرى داخل الموقع. سيوفر هذا لبرامج الزحف مسارًا واضحًا للزحف إليه.
إنشاء خريطة الموقع
يعد إنشاء خريطة موقع إحدى أسهل الطرق لمساعدة برامج زحف محركات البحث في الزحف إلى موقعك. خريطة الموقع عبارة عن ملف (عادةً بتنسيق xml) يزود برامج الزحف بقائمة من عناوين URL لمحتوى موقع الويب - على الأقل العناوين التي يريد مالك موقع الويب أن تراها برامج الزحف. يمكن أن يتضمن ملف Sitemap أيضًا معلومات إضافية لكل عنوان URL، مثل وقت آخر تحديث للصفحة المحددة، وعدد مرات تحديثها، وأهميتها بالنسبة للمحتوى الآخر على الموقع (على سبيل المثال، الصفحة الرئيسية أكثر أهمية من "جهة الاتصال" صفحة "نحن"). تساعد المعلومات التي يوفرها خريطة الموقع برامج زحف محركات البحث على الزحف إلى موقع الويب بشكل أكثر ذكاءً. تقبل Google وMSN وYahoo! وAsk جميع الطلبات المقدمة من مالكي مواقع الويب لإرسال خرائط الموقع. ومع ذلك، تجدر الإشارة إلى أنه لا توجد شركة تضمن أنه سيتم الزحف إلى عناوين URL المقدمة لخريطة الموقع أو فهرستها. تعتبر خرائط الموقع مفيدة لمواقع الويب التي توفر معلومات لا يمكن تصفحها بسهولة بشكل مباشر، على سبيل المثال، تقوم بعض المواقع بتخزين أرشيفات كبيرة أو قواعد بيانات من المعلومات التي لا يمكن رؤيتها إلا من خلال عمليات بحث المستخدم. تذكر أن برامج الزحف تقوم فقط بالزحف إلى المعلومات بناءً على الروابط، وعادةً ما تفتقر هذه المعلومات إلى الروابط التي يمكن الإشارة إليها.
مصدر المقال: http://www.jysnj.com يرجى الإشارة إلى العنوان عند إعادة الطباعة
رئيس التحرير: تشين لونج سأل المؤلف عن مساحة إير الشخصية