wechat spider 다운로드 - wechat spider 소스 코드 다운로드

wechat spider

AI 소스 코드

1.0.0

다운로드

위챗 크롤러

다음은 배포 문서입니다.

기술 문서는 https://t.zsxq.com/7ubmqNJ를 참조하세요.

역방향 크롤링 계획은 다음을 참조하세요: https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

기능:

공개 계정에 매일 게시되는 새 기사 감지
공개 계정 정보 캡처
기사 목록 가져오기
기사 정보 가져오기
읽은 내용, 좋아요, 댓글 캡처
댓글 정보 가져오기
임시 링크를 영구 링크로 변환

패키지 실행 파일 다운로드 주소

링크: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ 비밀번호: qnk6

특징:

설치가 필요하지 않습니다 . Mac 및 Window를 지원하며 소프트웨어를 두 번 클릭하여 실행합니다.
자동화 : 모니터링할 공개 계정 목록만 구성하면 되며 소프트웨어를 시작한 후 공개 계정, 기사 및 기타 정보를 매일 자동으로 캡처할 수 있습니다.
좋은 도킹 : 캡처된 데이터는 mysql을 사용하여 저장되므로 데이터 처리가 용이합니다.
누락된 항목 없음 : 작업 상태 표시를 사용하여 모든 공개 계정과 모든 기사가 누락되는 것을 방지합니다.
분산형 : 여러 WeChat 신호의 동시 수집을 지원하며 WeChat 클라이언트는 Android, iPhone, Mac 및 Window의 모든 플랫폼을 지원합니다.

데이터 예시

1. 공식 계정 데이터 -w829

2. 기사 목록 데이터 -w1369

3. 기사 데이터 -w1466

4. 좋아요 및 댓글 데이터 읽기 -w623

5. 댓글 데이터 -w1033

필수 환경

mysql: 캡처된 데이터 및 작업 테이블을 저장하는 데 사용됩니다.
redis: 작업 캐시, mysql 작업 수 감소

설치 구성

다음 설치 지침은 참고용일 뿐입니다. 사람마다 환경이 다르기 때문에 설치방법도 조금씩 다를 수 있으니 온라인에서 정보를 참고하시면 됩니다.

1. mysql을 설치한다

1.1 창

1.2맥

2. 레디스 설치

2.1 창

2.2맥

3. 인증서 설치

브라우저로 mitm.it을 방문하여 다운로드할 수 있습니다. 또는 Baidu에서 mitmproxy 인증서를 설치하는 방법도 있습니다.

3.1 아이폰

다운로드 및 설치 후 마지막 단계를 잊지 마세요
설정-일반-이 Mac 정보-인증서 신뢰 설정을 엽니다.
mitmproxy 옵션을 켜십시오.

3.2 안드로이드

설치 후 확인
설정-보안-신뢰할 수 있는 자격 증명 열기
설치된 인증서가 존재하는지 확인

3.3 창

실행하려면 두 번 클릭하세요.
로컬 컴퓨터에 설치
키가 필요할 때 건너뛰기
"다음 저장소에 모든 인증서 배치"를 선택한 다음 "신뢰할 수 있는 루트 인증 기관"을 선택합니다.
마지막으로 경고창이 뜨는데 "예"를 눌러주세요.

3.4맥

다운로드 후 더블클릭하여 설치하세요.
키체인 Access.app 열기
mitmproxy를 찾으려면 로그인(키체인) 및 인증서(카테고리)를 선택하세요.
mitmproxy를 클릭하고 항상 신뢰를 선택하십시오.

4. 프록시 구성

휴대폰을 사용하는 경우 휴대폰과 wechat-spider를 실행하는 컴퓨터가 동일한 라우터에 연결되어 있는지 확인해야 합니다.

3.1 아이폰

설정 열기-무선랜 연결 Wifi-에이전트 구성-설치 서버의 IP와 포트 8080을 수동으로 입력

3.2 안드로이드

설정 열기-WLAN-연결된 네트워크 길게 누르기-네트워크 수정-고급 옵션-수동으로 설치 서버의 IP 및 포트 8080 입력

3.3 창

크롬 설정 -> 고급을 엽니다. A580D0082CCEE0621F98FAF003C5530E 95AE10B3227FDE0637AB227A5A8267E3

3.4맥

시스템 구성(System Preferences.app) - 네트워크 - 고급 - 프록시 - 보안 웹 프록시(HTTPS)를 열고 설치 서버의 IP 및 포트 8080을 입력합니다.

-w668 -w667

사용 지침

1. 위에서 설명한 대로 인증서를 설치하고 에이전트를 구성합니다.

2. config.yaml을 올바르게 구성합니다.

가장 중요한 것은 mysql과 redis의 링크 정보를 구성하여 올바르게 연결될 수 있도록 하는 것입니다.

3. 위챗 데이터베이스 생성

-w418

4. wechat-spider를 시작하세요

이 단계에서 config의 auto_create_tables 값이 true이면 mysql 데이터 테이블이 자동으로 생성됩니다. 처음 시작할 때는 true로 설정하고 테이블을 생성한 후에는 false로 설정하는 것이 좋습니다.

5. 공개 계정 작업 발행

-w201 wechat_account_task에 다음과 같은 데이터를 입력합니다. -w503 MzIxNzg1ODQ0MQ==와 같이 __biz를 입력하세요.

6. 공개 계정을 클릭하면 기록 메시지를 볼 수 있습니다.

-w637

위의 빨간색 상자에 프롬프트 메시지가 나타나면 잠시 후 데이터베이스로 이동하여 데이터를 확인할 수 있다는 의미입니다.

기술교류

질문이나 제안 사항이 있으면 QQ 그룹에 가입하여 문제를 함께 논의할 수 있습니다.微信爬虫学习交流참고하세요

FAQ

1. mysql 링크 문제

문제: 링크할 때 버퍼 API 필수 예외를 지원하는 개체가 인쇄됩니다. 해결 방법: 키가 123456과 같은 정수인 경우 다음과 같이 구성 파일에 큰따옴표를 추가해야 합니다.

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度