aspx page scrape

raspado de página aspx

Eliminación de un sitio web .aspx solo usando bs4 y solicitudes.

Algún código que escribí en el proceso de aprender a manejar estados de vista aspx complicados y extraer datos con éxito, tratando de hacerlo sin usar Selenium para hacerlo un poco más liviano y más fácil de ejecutar. El sitio era www.bernco.gov, uno de los primeros trabajos independientes en los que trabajé. Implicaba extraer ciertos datos del paquete.

Con suerte, alguien que haga un enlace con cosas similares (Ver estados y páginas .aspx con solicitudes) pueda extraer valor del código y tener una mejor idea de cómo completar su tarea.

Algunas explicaciones adicionales: __EVENTTARGET - para encontrar qué control causó la devolución (botón siguiente) __VIEWSTATE - usado para guardar estados anteriores de la página, es necesario para que se coloque en los 'datos' de la solicitud

0. Primero es necesario que haya algunos valores constantes en los datos.
1. para mostrar la primera lista de parcelas, se debe llamar a get_viewstates() para extraer todos los estados de vista que luego se colocarán en los datos.
2. Para paginar a través de paquetes, es necesario llamar a get_index() y get_viewstates() para extraer índices y estados de visualización que luego se colocarán en los datos de la solicitud.