aspx page scrape

aspx 頁面抓取

僅使用 bs4 和 requests 抓取 .aspx 網站。

我在學習處理棘手的 aspx 視圖狀態並成功抓取資料的過程中編寫的一些程式碼，嘗試在不使用 Selenium 的情況下完成，以使其更輕且更易於運行。網站是 www.bernco.gov ，這是我從事的早期自由職業之一。它涉及提取某些包裹數據

希望有人使用類似的東西（查看狀態和帶有請求的 .aspx 頁面）進行鏈接，可以從程式碼中提取價值並更好地了解如何完成他的任務。

一些附加說明： __EVENTTARGET - 用於查找哪個控制項會導致回發（下一個按鈕 fe） __VIEWSTATE - 用於保存頁面的先前狀態，需要將其放置在請求的「資料」中

0. 首先數據中需要有一些常數值
1. 為了顯示第一個地塊列表，將呼叫 get_viewstates() 來提取所有視圖狀態，然後將其放入資料中
2. 為了對包裹進行分頁，需要呼叫 get_index() 和 get_viewstates() 來提取索引和視圖狀態，然後將其放入請求資料中