aspx page scrape

aspx-หน้าขูด

การคัดลอกเว็บไซต์ .aspx โดยใช้ bs4 และคำขอเท่านั้น

โค้ดบางตัวที่ฉันเขียนในกระบวนการเรียนรู้ที่จะจัดการกับ aspx View States ที่ยุ่งยากและขูดข้อมูลได้สำเร็จ โดยพยายามทำโดยไม่ใช้ Selenium เพื่อให้เบาขึ้นเล็กน้อยและรันได้ง่ายขึ้น เว็บไซต์นี้คือ www.bernco.gov ซึ่งเป็นหนึ่งในงานฟรีแลนซ์ในช่วงแรกๆ ที่ฉันเคยทำ มันเกี่ยวข้องกับการดึงข้อมูลพัสดุบางอย่าง

หวังว่าใครบางคนจะแท็กลิงก์ที่มีเนื้อหาคล้ายกัน (ดูสถานะและหน้า .aspx พร้อมคำขอ) จะสามารถดึงค่าจากโค้ดและได้แนวคิดที่ดีขึ้นว่าจะต้องทำงานของเขาอย่างไร

คำอธิบายเพิ่มเติมบางส่วน: __EVENTTARGET - สำหรับการค้นหาว่าการควบคุมใดที่ทำให้เกิด postback (ปุ่มถัดไป fe) __VIEWSTATE - ใช้สำหรับบันทึกสถานะก่อนหน้าของเพจ จำเป็นต้องวางไว้ใน 'data' ของคำขอ

0. ขั้นแรกจะต้องมีค่าคงที่ในข้อมูลก่อน
1. เพื่อแสดงรายการพัสดุแรก get_viewstates() จะต้องถูกเรียกเพื่อแยก viewstate ทั้งหมดซึ่งจะถูกวางไว้ในข้อมูล
2. เพื่อที่จะแบ่งหน้าผ่านพัสดุ get_index() และ get_viewstates() จะต้องถูกเรียกเพื่อแยกดัชนีและ viewstate ซึ่งจะถูกวางไว้ในข้อมูลคำขอ