aspx page scrape

aspx 页面抓取

仅使用 bs4 和 requests 抓取 .aspx 网站。

我在学习处理棘手的 aspx 视图状态并成功抓取数据的过程中编写的一些代码，尝试在不使用 Selenium 的情况下完成，以使其更轻且更易于运行。该网站是 www.bernco.gov ，这是我从事的早期自由职业之一。它涉及提取某些包裹数据

希望有人使用类似的东西（查看状态和带有请求的 .aspx 页面）进行链接，可以从代码中提取价值并更好地了解如何完成他的任务。

一些附加说明： __EVENTTARGET - 用于查找哪个控件导致回发（下一个按钮 fe） __VIEWSTATE - 用于保存页面的先前状态，需要将其放置在请求的“数据”中

0. 首先数据中需要有一些常量值
1. 为了显示第一个地块列表，将调用 get_viewstates() 来提取所有视图状态，然后将其放入数据中
2. 为了对包裹进行分页，需要调用 get_index() 和 get_viewstates() 来提取索引和视图状态，然后将其放入请求数据中