aspx page scrape

raspagem de página aspx

Raspar um site .aspx usando apenas bs4 e solicitações.

Algum código que escrevi no processo de aprender a lidar com estados de visualização aspx complicados e extrair dados com sucesso, tentando fazer isso sem usar Selenium para torná-lo um pouco mais leve e fácil de executar. O site era www.bernco.gov, um dos primeiros trabalhos freelance em que trabalhei. Envolvia a extração de certos dados de parcelas

Esperançosamente, alguém tacklink com coisas semelhantes (visualizar estados e páginas .aspx com solicitações) pode extrair valor do código e ter uma ideia melhor de como concluir sua tarefa.

Algumas explicações adicionais: __EVENTTARGET - para descobrir qual controle causou o postback (next button fe) __VIEWSTATE - usado para salvar estados anteriores da página, é necessário que ele seja colocado em 'data' da requisição

0. Primeiro, é necessário que haja alguns valores constantes nos dados
1. para exibir a primeira lista de pacotes, get_viewstates() deve ser chamado para extrair todos os viewstates que serão então colocados nos dados
2. Para paginar os pacotes get_index() e get_viewstates() precisam ser chamados para extrair índices e viewstates que serão então colocados nos dados da solicitação