wechat_spider
1.0.0
지속적인 생성과 끝없는 전달
이 프로젝트는 관리 방법을 사용하여 WeChat 공개 계정 기사를 캡처합니다. 먼저 WeChat 공개 계정을 캡처하는 두 가지 주요 방법을 이해해야 합니다.
WeChat 공개 계정의 과거 기사를 우아하게 캡처하는 방법
따라서 이제 일반적으로 두 가지 방법이 있습니다. 하나는 Sogou WeChat을 통하고 다른 하나는 프록시를 통해 캡처하는 것입니다.
원래는 이러한 기능을 완료하기 위해 Node.js의 anyproxy와 PHP의 Laravel 프레임워크를 사용하여 더 복잡한 도구를 작성했습니다. 그러나 어느 날 샤워를 하다가 마침내 원래는 매우 간단했던 도구가 실제로는 복잡하다는 것을 알게 되었습니다. 나는 미디어 친구에게 몇 가지 지침을 주었고 그는 매우 빨리 그것을 사용하기 시작했습니다.
출력에는 두 가지가 있습니다. 하나는 wechat.sqlite이고 다른 하나는 wechat.csv입니다. Wechat.csv는 wechat_spider csv 명령으로 생성되어야 합니다.
다음은 내 공개 계정에 해당하는 데이터입니다.
테이블 헤더 설명:
accountName: 公众号名称 author: 作者 title: 文章标题 contentUrl: 文章链接 cover: 文章封面图 digest: 文章摘要 idx: 如果是1，代表的是当天第一篇文章，如果是2，代表当天第二篇文章，以此类推。 sourceUrl: 阅读原文对应的链接 createTime: 文章创建时间 readNum: 阅读数 likeNum: 点赞数 rewardNum: 赞赏数 electedCommentNum: 被选择显示的回复数
https://nodejs.org/zh-cn/ 웹사이트에서 최신 버전을 다운로드하세요.
sqlite에 의존하기 때문에 node-gyp을 통한 컴파일 과정에는 python 2.x(3.x는 동작하지 않음)와 VCBuild.exe가 필요하므로 Windows 수강생들은 반드시 설치해야 하며, 그렇지 않으면 오류가 발생합니다.
Windows 사용자는 관리자 권한으로 PowerShell에서 npm install --global --production windows-build-tools 입력하여 컴파일 환경 종속성을 다운로드하고 설치할 수 있습니다.
Mac의 경우 터미널 아래, Windows의 경우 cmd 아래:
$ npm -v 4.3.0 $python Python 2.7.6(기본값, 2013년 11월 18일, 15:12:51) [GCC 4.2.1 호환 Apple LLVM 5.0(clang-500.2.79)] on darwin 자세한 내용을 보려면 "도움말", "저작권", "크레딧" 또는 "라이센스"를 입력하세요. >>>
위와 유사한 정보가 출력되면 해당 도구가 설치되었음을 증명합니다.
$ npm 설치 wechat_spider -g
$ wechat_spider --help 사용법: wechat_spider [옵션] 옵션: -h, --help 사용 정보 출력 -V, --version 버전 번호를 출력합니다.
위와 유사한 정보가 출력되면 wechat_spider가 성공적으로 설치되었음을 증명합니다.
사용할 수 있는 네 단계는 다음과 같습니다. 프록시를 켜고, 휴대폰에 프록시를 설정하고, 공개 계정 기록을 확인한 다음, 자동으로 크롤링을 시작하고, 마지막으로 csv를 생성합니다.
1단계: Mac의 터미널 또는 Windows의 cmd에서 도구를 엽니다.
$wechat_spider
처음으로 신뢰 인증서가 필요합니다.
인증서 폴더는 기본적으로 열립니다. 열리지 않은 경우 브라우저에서 http://localhost:8002/fetchCrtFile을 열고 루트 인증서를 얻은 후 이를 두 번 클릭하여 얻을 수도 있습니다. 운영 체제 프롬프트에 따라 rootCA를 신뢰하십시오.
윈도우
스코틀랜드 사람
2단계: 모바일 프록시 사용:
처음으로 휴대폰에 인증서를 설치해야 합니다. 브라우저를 엽니다: http://localhost:8002/qr_root. WeChat을 사용하여 QR 코드를 스캔합니다.
그런 다음 컴퓨터의 IP 주소를 192.168.1.5로 가정하여 가져옵니다.
모바일 프록시를 컴퓨터에 설정합니다.
3단계: WeChat 공식 계정을 선택하고 클릭하여 기록을 확인하세요.
4단계: "공개 계정 수집 완료" 페이지가 나타날 때까지 기다린 후 csv를 생성할 수 있습니다.
$ wechat_spider csv
뭔가 하고 싶은 프로그래머 진마 입니다. 이 도구가 도움이 된다면 커피 한 잔 사주시면 됩니다. 감사합니다 :)
MIT.
