aspx page scrape

aspx-страница-очистка

Очистка веб-сайта .aspx только с использованием bs4 и запросов.

Некоторый код, который я написал в процессе обучения обработке сложных состояний представления aspx и успешному очистке данных, пытаясь сделать это без использования Selenium, чтобы сделать его немного легче и проще в запуске. Сайт назывался www.bernco.gov, это была одна из первых работ фрилансера, над которой я работал. Это включало извлечение определенных данных о посылках.

Надеюсь, кто-нибудь, использующий подобные материалы (состояния просмотра и страницы .aspx с запросами), сможет извлечь пользу из кода и лучше понять, как выполнить свою задачу.

Некоторые дополнительные пояснения: __EVENTTARGET — для определения того, какой элемент управления вызвал обратную отправку (например, кнопка «Следующая») __VIEWSTATE — используется для сохранения предыдущих состояний страницы, его необходимо поместить в «данные» запроса.

0. Сначала в данных должны быть некоторые постоянные значения.
1. для отображения первого списка участков необходимо вызвать get_viewstates() для извлечения всех состояний просмотра, которые затем будут помещены в данные
2. Для разбивки по страницам необходимо вызвать методы get_index() и get_viewstates() для извлечения индексов и состояний просмотра, которые затем будут помещены в данные запроса.