يعد Spider برنامجًا مفيدًا جدًا على الإنترنت. تستخدم محركات البحث برامج عنكبوتية لجمع صفحات الويب في قواعد البيانات. وتستخدم الشركات برامج عنكبوتية لمراقبة مواقع الويب المنافسة وتتبع التغييرات يستخدم المطورون، المستخدمة على الكمبيوتر، برامج العنكبوت لفحص الويب الخاص بهم للتحقق من الروابط غير الصالحة... برامج العنكبوت لها استخدامات مختلفة لمستخدمين مختلفين، فكيف تعمل برامج العنكبوت؟
العنكبوت هو برنامج شبه تلقائي، تمامًا مثل العنكبوت الحقيقي الذي يسافر على الويب الخاص به (نسيج العنكبوت)، يسافر برنامج العنكبوت أيضًا على الويب المنسوج بواسطة روابط الويب بطريقة مماثلة. السبب في كون برنامج العنكبوت شبه آلي هو أنه يحتاج دائمًا إلى رابط أولي (نقطة البداية)، لكن تشغيله اللاحق يتم تحديده بنفسه. سيقوم برنامج العنكبوت بمسح الروابط الموجودة في صفحة البداية، ثم الوصول إلى هذه الروابط للإشارة إلى الصفحات، ثم تحليل وتتبع الروابط الموجودة في تلك الصفحات. من الناحية النظرية، سيقوم برنامج العنكبوت في النهاية بزيارة كل صفحة على الإنترنت، لأن كل صفحة على الإنترنت تقريبًا تتم الإشارة إليها دائمًا بواسطة صفحات أخرى أكثر أو أقل.
تشرح هذه المقالة كيفية استخدام لغة C# لإنشاء برنامج عنكبوت يمكنه تنزيل محتويات موقع الويب بأكمله إلى دليل محدد. تظهر واجهة تشغيل البرنامج في الشكل 1. يمكنك بسهولة إنشاء برنامج العنكبوت الخاص بك باستخدام العديد من الفئات الأساسية المتوفرة في هذه المقالة.
لمزيد من المعلومات، يرجى قراءة: http://info.codepub.com/2008/03/info-18319.html
يوسع
