py spider for wechat

WeChat 공개 계정 크롤러

2차 개발 및 PR 제출도 환영인가요?

프로젝트 소개

Python을 사용하여 지정된 공개 계정의 과거 기사와 콘텐츠를 크롤링하고 키워드를 사용한 기사 필터링을 지원하는 크롤러를 구축하세요.

사용방법

토큰 및 쿠키 가져오기

1. WeChat 공개 플랫폼으로 이동하여 로그인하거나 공개 계정을 등록하세요.

2. WeChat 공개 플랫폼의 메인 인터페이스에 들어가서 단축키 F12 를 눌러 다음 인터페이스를 열고 [네트워크]로 전환합니다.

3. 브라우저 페이지를 새로 고침하고 클릭하면 그림에 표시된 파일 내용을 볼 수 있습니다.

4. [로드]에서 마우스로 선택한 내용을 복사하여 크롤러 프로그램의 [토큰]에 복사합니다.

5. [헤더]에서 [요청 헤더]를 찾아 그림에서 마우스로 선택한 내용을 모두 복사하여 크롤러 프로그램의 [쿠키]에 복사합니다.

공식 계정 선택

1. 크롤러 프로그램에서 크롤링하려는 공용 계정의 이름을 입력하고 [쿼리] 버튼을 클릭합니다.

2. 아래 [공식계정 선택] 조회 결과에서 크롤링하려는 공식계정을 선택하세요.

크롤링 설정

1. 시작 페이지 번호 및 크롤링 페이지 수

(1) 공개계정의 역사적 기사는 일반적으로 한 페이지에 5~10개의 기사로 구성됩니다.

(2) 공개 계정의 과거 기사 페이지 수가 적을수록 0페이지에 최신 기사가 저장됩니다.

(3) 시작 페이지 번호는 0부터 시작하는 것을 권장합니다.

(4) 크롤링된 페이지 수는 0일 수 없습니다. 그렇지 않으면 크롤링 결과가 비어 있게 됩니다.

2. 파일명 저장 및 위치 저장

올바른 파일 이름을 입력하고 파일 위치를 선택하십시오.

3. 키워드 필터링(채울 수도 있고 안 채울 수도 있음)

(1) 기능: 키워드를 기준으로 기사를 필터링하고 기사 제목에 키워드가 포함된 기사를 가져오는 데 사용됩니다. 작성하지 않으면 모든 기사가 검색됩니다.

(2) 형식:关键词1；关键词2；关键词3

[중국어 세미콜론]으로 구분, 마지막 키워드 뒤에는 세미콜론 없음

크롤링 시작 및 결과 보기

1. [크롤링 시작] 버튼을 클릭하세요.

2. 크롤링 결과 보기

(1) 프로그램은 선택한 파일 저장 위치 디렉터리에保存文件名_当日日期의 폴더를 생성하고 이 폴더에 크롤링된 콘텐츠를 저장합니다.

(2) raw 폴더의 내용은 크롤링 과정에서 생성된 캐시 파일로 삭제될 수 있습니다.