الصفحة الرئيسية>كود مصدر ASP>فئات أخرى
تنزيل

سواتش بهارات الحضرية الزاحف

هذا هو الزاحف الذي يزحف إلى موقع الويب الكامل https://sbmurban.org/rrr-centers ويستخرج المعلومات الكاملة.

عن

  • تم إنشاء هذا الزاحف كمهمة لـ ATLAN.
  • تم الزحف إلى البيانات الكاملة من موقع الويب وتخزينها في ملف واحد
  • كانت هذه مهمة جديدة وتعلمت كيفية إلغاء مواقع ASP.NET التي تستخدم __VIEWSTATE (استخدم https://blog.scrapinghub.com/2016/04/20/scrapy-tips-from-the-pros-april-2016 -الإصدار كبرنامج تعليمي حول كيفية الزحف إلى مواقع ASP.NET).
  • أيضًا في نهاية عملية إلغاء البيانات الكاملة، سيتم إجراء طلب POST إلى URL المحدد.
  • كما تمت إضافة ملف setup.py.
  • يحتوي الملف المستخرج على الأعمدة التالية:-
    • ولاية
    • يصرف
    • اسم ULB
    • جناح
    • عدد الطلبات المستلمة
    • عدد الطلبات التي لم يتم التحقق منها
    • عدد الطلبات التي تم التحقق منها
    • عدد الطلبات المعتمدة
    • عدد الطلبات المعتمدة التي تحمل رقم Aadhar
    • عدد الطلبات المرفوضة
    • عدد طلبات التراجع
    • عدد الطلبات مغلقة
    • رقم صورة المرحاض المبني
    • رقم صورة المرحاض التي بدأت
    • رقم صورة المراحيض التي تم إنشاؤها من خلال Swachhalaya

الشكوك / الافتراضات

  1. شك=> كيف يمكننا تقديم طلب POST كل 5 دقائق، نظرًا لأن زحف البيانات نفسه يستغرق وقتًا أطول بكثير.

الافتراض=> لإجراء طلب النشر كل 5 دقائق، يمكننا وضع المشروع في ScrapingHub، وجدولته للزحف كل 5 دقائق. تم إنشاء الزاحف بحيث يقوم بتقديم طلب POST عند إكمال الزحف، وسيتم نشر البيانات تلقائيًا.

  1. شك => كم عدد ملفات الإخراج المطلوبة؟ مثل ملف واحد يحتوي على جميع المعلومات. أو الملفات الأربعة التي تحتوي على معلومات لأربعة مستويات مختلفة مثل الولاية والمنطقة وULB ومستوى الجناح.

الافتراضات => لقد قمت بإنشاء ملف CSV واحد فقط والذي تم عرض جدوله في المهمة التي تحتوي على جميع المعلومات. حيث يمكن استخراج جميع المعلومات الأخرى بسهولة من هذا الملف.

كيفية الإعداد

  1. استنساخ المستودع 
 git clone https://github.com/sagar-sehgal/SwatchBharaturban_Crawler
  1. اصنع بيئة افتراضية 
 virtualenv venv --python=python3
  1. تفعيل Virtualenv 
 source venv/bin/activate
  1. تغيير المستودع 
 cd SwatchBharaturban_Crawler
  1. تثبيت التبعيات 
 pip install -r requirements.txt
  1. قم بتشغيل الزاحف 
 scrapy crawl swatchbharaturban_crawler

سيتم تخزين البيانات التي تم الزحف إليها في ملف swatchbharaturban_crawler/data/swatchbharat_data.csv .

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل