SwatchBharatUrbanCrawler

Swatch Bharat Urban Crawler

Este es un rastreador que rastrea el sitio web completo https://sbmurban.org/rrr-centers y extrae la información completa.

Acerca de

• Este rastreador fue creado como una tarea para ATLAN.
• Los datos completos del sitio web fueron rastreados y almacenados en un solo archivo.
• Esta fue una tarea nueva y aprendí a eliminar los sitios web ASP.NET que usan __VIEWSTATE (usé https://blog.scrapinghub.com/2016/04/20/scrapy-tips-from-the-pros-april-2016 -edición como tutorial sobre cómo rastrear sitios web ASP.NET).
• Además, al final del desguace completo de datos, se realizará una solicitud POST a la URL especificada.
• Además, se ha agregado el archivo setup.py.
• El archivo extraído contiene las siguientes columnas: -
  • Estado
  • Distrito
  • Nombre ULB
  • Pabellón
  • Número de solicitudes recibidas
  • Número de solicitudes no verificadas
  • No. de aplicaciones verificadas
  • Número de solicitudes aprobadas
  • No. de solicitudes aprobadas que tienen Aadhar No.
  • No. de solicitudes rechazadas
  • Número de aplicaciones retiradas
  • No. de solicitudes cerradas
  • No. de fotos de baños construidos
  • No. de fotos de baño iniciadas
  • Número de fotografías de baños construidos a través de Swachhalaya

Dudas/suposiciones

1. DUDA=> ¿Cómo podemos realizar una solicitud POST cada 5 minutos, ya que el rastreo de datos en sí lleva mucho más tiempo?

SUPUESTO => Para realizar la solicitud de publicación cada 5 minutos, podemos colocar el proyecto en ScrapingHub y programarlo para que se rastree cada 5 minutos. El rastreador se creó de tal manera que realizaría una solicitud POST al completar el rastreo y los datos se publicarían automáticamente.

2. DUDA=> ¿Cuántos archivos de salida se requieren? Como 1 archivo que contiene toda la información. O los 4 archivos que contienen información para 4 niveles diferentes, como estado, distrito, ULB y nivel de distrito.

SUPUESTOS => He creado solo 1 archivo CSV cuya tabla se mostró en la tarea que contiene toda la información. Dado que toda la demás información se puede extraer fácilmente de ese archivo.

Cómo configurar

1. Clonar el repositorio

 git clone https://github.com/sagar-sehgal/SwatchBharaturban_Crawler

2. Crear un entorno virtual

 virtualenv venv --python=python3

3. Activar el entorno virtual

 source venv/bin/activate

4. Cambiar el repositorio

 cd SwatchBharaturban_Crawler

5. Instalar las dependencias

 pip install -r requirements.txt

6. Ejecute el rastreador

 scrapy crawl swatchbharaturban_crawler

Los datos rastreados se almacenarían en el archivo swatchbharaturban_crawler/data/swatchbharat_data.csv .