aspx page scrape

aspx-ページ-スクレイプ

bs4 とリクエストのみを使用して .aspx Web サイトをスクレイピングします。

トリッキーな aspx ビュー ステートの処理とデータのスクレイピングを成功させる方法を学習する過程で、Selenium を使用せずに実行して、少し軽くて実行しやすくするために私が書いたコードの一部。私がフリーランスとして初期に取り組んだ仕事の 1 つとして、サイトは www.bernco.gov でした。特定の小包データの抽出が含まれていました

うまくいけば、誰かが同様のもの（リクエストを含むビューステートと.aspxページ）をタックリンクして、コードから値を抽出し、タスクを完了する方法をより良く理解できることを願っています。

追加の説明: __EVENTTARGET - どのコントロールがポストバック (次のボタン) を引き起こしたかを見つけるため __VIEWSTATE - ページの前の状態を保存するために使用され、リクエストの「データ」に配置するために必要です

0. まず、データ内にいくつかの定数値が必要です
1. 最初のパーセル リストを表示するには、 get_viewstates() を呼び出して、データに配置されるすべてのビューステートを抽出します。
2. パーセルをページ分割するには、get_index() と get_viewstates() を呼び出してインデックスとビューステートを抽出する必要があります。これらはリクエスト データに配置されます。