หน้าแรก>ซอร์สโค้ด ASP>หมวดหมู่อื่นๆ
ดาวน์โหลด

Swatch Bharat Urban Crawler

นี่คือโปรแกรมรวบรวมข้อมูลที่รวบรวมข้อมูลเว็บไซต์ https://sbmurban.org/rrr-centers ทั้งหมด และแยกข้อมูลทั้งหมด

เกี่ยวกับ

  • โปรแกรมรวบรวมข้อมูลนี้ถูกสร้างขึ้นเพื่อเป็นงานสำหรับ ATLAN
  • ข้อมูลทั้งหมดจากเว็บไซต์ได้รับการรวบรวมข้อมูลและจัดเก็บไว้ในไฟล์เดียว
  • นี่เป็นงานใหม่และได้เรียนรู้วิธีการแยกเว็บไซต์ ASP.NET ที่ใช้ __VIEWSTATE (ใช้ https://blog.scrapinghub.com/2016/04/20/scrapy-tips-from-the-pros-april-2016 -edition เป็นบทช่วยสอนเกี่ยวกับวิธีการรวบรวมข้อมูลเว็บไซต์ ASP.NET)
  • นอกจากนี้ เมื่อสิ้นสุดการลบข้อมูลโดยสมบูรณ์ คำขอ POST จะถูกส่งไปยัง URL ที่ระบุ
  • นอกจากนี้ยังมีการเพิ่มไฟล์ setup.py อีกด้วย
  • ไฟล์ที่แตกออกมาประกอบด้วยคอลัมน์ต่อไปนี้:-
    • สถานะ
    • เขต
    • ชื่อ ULB
    • วอร์ด
    • จำนวนใบสมัครที่ได้รับ
    • จำนวนแอปพลิเคชันที่ไม่ได้รับการตรวจสอบ
    • จำนวนแอปพลิเคชันที่ได้รับการยืนยัน
    • จำนวนใบสมัครที่ได้รับอนุมัติ
    • จำนวนใบสมัครที่ได้รับอนุมัติโดยมี Aadhar No.
    • จำนวนใบสมัครที่ถูกปฏิเสธ
    • No. of Applications Pullback
    • จำนวนใบสมัครที่ปิด
    • จำนวนห้องน้ำที่สร้างรูปถ่าย
    • จำนวนรูปถ่ายห้องน้ำที่เริ่มใช้
    • จำนวนภาพห้องน้ำที่สร้างโดย Swachhalaya

Doubts/Assumptions

  1. DOUBT=> เราจะส่งคำขอ POST ทุก 5 นาทีได้อย่างไร เนื่องจากการรวบรวมข้อมูลเองใช้เวลานานกว่ามาก

ASSUMPTION=> สำหรับการส่งคำขอโพสต์ทุกๆ 5 นาที เราสามารถใส่โปรเจ็กต์ไว้ใน ScrapingHub และกำหนดเวลาให้รวบรวมข้อมูลทุกๆ 5 นาที โปรแกรมรวบรวมข้อมูลถูกสร้างขึ้นเพื่อให้ส่งคำขอ POST เมื่อทำการรวบรวมข้อมูลเสร็จสิ้น และข้อมูลจะถูกโพสต์โดยอัตโนมัติ

  1. สงสัย=> ต้องใช้ไฟล์เอาท์พุตจำนวนเท่าใด? เช่น 1 ไฟล์ที่มีข้อมูลทั้งหมด หรือไฟล์ 4 ไฟล์ที่มีข้อมูลสำหรับ 4 ระดับที่แตกต่างกัน เช่น ระดับรัฐ เขต ULB และวอร์ด

ASSUMTIONS=> ฉันได้สร้างไฟล์ CSV 1 ไฟล์เฉพาะตารางที่แสดงในงานที่มีข้อมูลทั้งหมด เนื่องจากข้อมูลอื่นๆ ทั้งหมดสามารถดึงออกมาจากไฟล์นั้นได้อย่างง่ายดาย

วิธีการตั้งค่า

  1. โคลนพื้นที่เก็บข้อมูล 
 git clone https://github.com/sagar-sehgal/SwatchBharaturban_Crawler
  1. สร้างสภาพแวดล้อมเสมือนจริง 
 virtualenv venv --python=python3
  1. เปิดใช้งาน virtualenv 
 source venv/bin/activate
  1. เปลี่ยนพื้นที่เก็บข้อมูล 
 cd SwatchBharaturban_Crawler
  1. ติดตั้งการพึ่งพา 
 pip install -r requirements.txt
  1. เรียกใช้โปรแกรมรวบรวมข้อมูล 
 scrapy crawl swatchbharaturban_crawler

ข้อมูลที่รวบรวมข้อมูลจะถูกจัดเก็บไว้ในไฟล์ swatchbharaturban_crawler/data/swatchbharat_data.csv

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด