aspx page scrape

aspx-page-scrape

Scraper un site Web .aspx en utilisant uniquement bs4 et des requêtes.

Un code que j'ai écrit en train d'apprendre à gérer les états d'affichage aspx délicats et à récupérer les données avec succès, en essayant de le faire sans utiliser Selenium pour le rendre un peu plus léger et plus facile à exécuter. Le site était www.bernco.gov, l'un des premiers emplois indépendants sur lesquels j'ai travaillé. Il s'agissait d'extraire certaines données de parcelles

Espérons que quelqu'un qui crée un lien avec des éléments similaires (afficher les états et les pages .aspx avec des demandes) puisse extraire la valeur du code et avoir une meilleure idée de la façon d'accomplir sa tâche.

Quelques explications supplémentaires : __EVENTTARGET - pour trouver quel contrôle a provoqué la publication (bouton suivant par exemple) __VIEWSTATE - utilisé pour sauvegarder les états précédents de la page, il est nécessaire qu'il soit placé dans les "données" de la requête

0. Il faut d’abord qu’il y ait des valeurs constantes dans les données
1. afin d'afficher la première liste de parcelles, get_viewstates() doit être appelé pour extraire tous les états d'affichage qui seront ensuite placés dans les données
2. Afin de paginer les parcelles, get_index() et get_viewstates() doivent être appelés pour extraire les index et les états d'affichage qui seront ensuite placés dans les données de la requête.