aspx page scrape

aspx 페이지 긁기

bs4 및 요청만 사용하여 .aspx 웹사이트를 스크랩합니다.

까다로운 aspx 뷰 상태를 처리하고 데이터를 성공적으로 스크랩하는 방법을 배우는 과정에서 작성한 일부 코드는 좀 더 가볍고 실행하기 쉽게 만들기 위해 Selenium을 사용하지 않고 이를 수행하려고 시도했습니다. 사이트는 www.bernco.gov였으며 제가 일했던 초기 프리랜서 작업 중 하나였습니다. 특정 소포 데이터를 추출하는 작업이 포함되었습니다.

비슷한 내용(요청이 있는 보기 상태 및 .aspx 페이지)을 가진 누군가가 tacklink를 통해 코드에서 가치를 추출하고 작업을 완료하는 방법에 대해 더 나은 아이디어를 얻을 수 있기를 바랍니다.

몇 가지 추가 설명: __EVENTTARGET - 포스트백을 유발한 컨트롤을 찾는 데 사용됩니다(다음 버튼 fe) __VIEWSTATE - 페이지의 이전 상태를 저장하는 데 사용되며 요청의 '데이터'에 배치하는 데 필요합니다.

0. 먼저 데이터에 상수 값이 있어야 합니다.
1. 첫 번째 소포 목록을 표시하려면 get_viewstates()를 호출하여 모든 viewstate를 추출한 다음 데이터에 배치해야 합니다.
2. 소포를 통해 페이지를 매기려면 get_index() 및 get_viewstates()를 호출하여 요청 데이터에 배치될 인덱스 및 뷰 상태를 추출해야 합니다.