SwatchBharatUrbanCrawler

Swatch Bharat Urban Crawler

Este é um rastreador que rastreia o site completo https://sbmurban.org/rrr-centers e extrai as informações completas.

Sobre

• Este rastreador foi construído como uma tarefa para ATLAN.
• Os dados completos do site foram rastreados e armazenados em um único arquivo
• Esta foi uma tarefa nova e aprendi como descartar os sites ASP.NET que usam __VIEWSTATE (usei o https://blog.scrapinghub.com/2016/04/20/scrapy-tips-from-the-pros-april-2016 -edition como um tutorial sobre como rastrear sites ASP.NET).
• Também ao final da eliminação completa dos dados, uma solicitação POST seria feita para o URL especificado.
• Além disso, o arquivo setup.py foi adicionado.
• O arquivo extraído contém as seguintes colunas: –
  • Estado
  • Distrito
  • Nome ULB
  • Ala
  • Nº de inscrições recebidas
  • Nº de aplicativos não verificados
  • Nº de aplicativos verificados
  • Nº de inscrições aprovadas
  • Nº de inscrições aprovadas com Aadhar No.
  • Nº de inscrições rejeitadas
  • Nº de retirada de aplicativos
  • Nº de inscrições encerradas
  • Nº de foto do banheiro construído
  • Nº de foto do banheiro iniciado
  • Nº de fotos de banheiros construídos através de Swachhalaya

Dúvidas/Suposições

1. DÚVIDA=> Como podemos fazer uma solicitação POST a cada 5 minutos, já que o rastreamento dos dados em si leva muito mais tempo.

ASSUNÇÃO=> Para fazer a solicitação de postagem a cada 5 minutos, podemos colocar o projeto no ScrapingHub, e programá-lo para rastrear a cada 5 minutos. O rastreador foi feito de forma que faria uma solicitação POST ao concluir o rastreamento e os dados seriam postados automaticamente.

2. DÚVIDA=> Quantos arquivos de saída são necessários? Tipo 1 arquivo contendo todas as informações. Ou os 4 Arquivos contendo informações para 4 níveis diferentes como Estadual, Distrital, ULB e Nível de Distrito.

PRESSUPOSTOS=> Fiz apenas 1 arquivo CSV cuja tabela foi mostrada na tarefa contendo todas as informações. Uma vez que todas as outras informações podem ser facilmente extraídas desse arquivo.

Como configurar

1. Clonar o repositório

 git clone https://github.com/sagar-sehgal/SwatchBharaturban_Crawler

2. Faça um ambiente virtual

 virtualenv venv --python=python3

3. Ative o virtualenv

 source venv/bin/activate

4. Alterar o repositório

 cd SwatchBharaturban_Crawler

5. Instale as dependências

 pip install -r requirements.txt

6. Execute o rastreador

 scrapy crawl swatchbharaturban_crawler

Os dados rastreados seriam armazenados no arquivo swatchbharaturban_crawler/data/swatchbharat_data.csv .