aspx page scrape

aspx-halaman-goresan

Mengikis situs web .aspx hanya menggunakan bs4 dan permintaan.

Beberapa kode yang saya tulis dalam proses belajar menangani Status Tampilan aspx yang rumit dan berhasil mengikis data, mencoba melakukannya tanpa menggunakan Selenium untuk membuatnya sedikit lebih ringan dan lebih mudah dijalankan. Situsnya adalah www.bernco.gov, sebagai salah satu pekerjaan lepas awal yang pernah saya kerjakan. Ini melibatkan penggalian data paket tertentu

Mudah-mudahan seseorang melakukan tacklink dengan hal serupa (Lihat halaman Serikat dan .aspx dengan permintaan) dapat mengekstrak nilai dari kode dan mendapatkan ide yang lebih baik bagaimana menyelesaikan tugasnya.

Beberapa penjelasan tambahan: __EVENTTARGET - untuk menemukan kontrol mana yang menyebabkan postback (tombol berikutnya fe) __VIEWSTATE - digunakan untuk menyimpan status halaman sebelumnya, diperlukan untuk ditempatkan di 'data' permintaan

0. Pertama, perlu ada beberapa nilai konstan dalam data
1. untuk menampilkan daftar parsel pertama, get_viewstates() dipanggil untuk mengekstrak semua status tampilan yang kemudian akan ditempatkan dalam data
2. Untuk melakukan paginasi melalui paket get_index() dan get_viewstates() perlu dipanggil untuk mengekstrak indeks dan status tampilan yang kemudian akan ditempatkan di data permintaan