wechat articles crawler

읽기 및 좋아요를 포함하여 anyproxy를 기반으로 WeChat 공개 계정 기사 크롤링

녹화된 영상 : 클릭하시면 이동됩니다

기본 원리

1. AnyProxy는 fiddler 및 charles와 유사한 Alibaba 오픈 소스 HTTP 프록시 서버이지만 보조 개발 기능을 제공하고 js 코드를 작성하여 http/https 요청 및 응답을 변경할 수 있습니다.
2. WeChat 공식 계정의 모든 기사를 크롤링하려면 먼저 모든 기사를 가져온 다음 하나씩 열어 기사 제목, 작성자, 읽은 횟수 및 좋아요 수(읽은 수와 좋아요 수는 WeChat 앱의 내장 브라우저에서 얻을 수 있습니다) )
3. 각 WeChat 공개 계정은查看历史消息기능을 제공합니다. 이 웹페이지를 열려면 클릭하고 게시된 모든 기사를 보려면 계속 스크롤하세요. 이 단계에서는 anyproxy를 기반으로 웹페이지의 html을 수정하고, 페이지가 계속 아래로 스크롤되도록 js 스크립트를 삽입하여 하단으로 스크롤하면 모든 기사 목록을 가져옵니다. 본질적으로 중간자 공격입니다.
4. 모든 기사의 내용(URL, 제목, 게시 시간 등 포함)을 얻은 후 다음 단계는 WeChat 브라우저에 이러한 기사 웹 페이지를 하나씩 열도록 순환적으로 알리는 것입니다. 각 기사 웹 페이지에는 js 스크립트도 삽입되어 페이지의 좋아요 및 읽기 수를 지속적으로 확인합니다. 감지되면 기사의 좋아요 및 읽기 수가 서버로 전송됩니다. 백그라운드에서 성공적으로 수신되면 WeChat 브라우저가 다음 URL을 엽니다. 여기서는 WeChat 브라우저와 자체 구축 Koa 서버 간의 통신을 구현하기 위해 Socketio를 사용합니다.

그림과 같이:

기사 목록 데모 받기:

기사 링크를 하나씩 엽니다.

실행 방법

첫 번째 단계는 anyproxy를 성공적으로 설치하는 것입니다. 이 단계에서는 https를 성공적으로 프록시하고 https의 본문 내용을 볼 수 있도록 자세히 설명된 anyproxy의 공식 튜토리얼을 읽어보세요.

 yarn install
yarn start

크롤링된 기사의 내용을 실시간으로 볼 수 있는 result.html이 자동으로 열립니다. 위챗 공식 계정을 클릭하고 클릭하면 기록 메시지가 표시됩니다. 기사가 하나씩 열리고 콘텐츠가 크롤링됩니다.

특정 프로세스

1. 첫 번째 단계는 공개 계정의 모든 역사적 기사를 얻는 것입니다. anyproxy 프록시가 설정된 실제 시스템에서 기록 메시지를 확인하세요. 이때 WeChat은 기록 기사 웹 페이지를 엽니다. HTML 문서 가져오기: , var msgList 필요한 과거 기사 데이터이고, 간단한 정규 일치를 사용하여 잘못된 문자를 대체하고, JSON.parse가 필요한 형식으로 변환됩니다. anyproxy를 기반으로 웹 페이지가 자동으로 아래로 스크롤되도록 하고 더 많은 기사를 가져오도록 브라우저를 트리거하기 위해 이 HTML 문서에 스크립트를 삽입합니다.

 var scrollKey = setInterval ( function ( ) {
    window . scrollTo ( 0 , document . body . scrollHeight ) ;
} , 1000 ) ;

웹 페이지가 끝까지 스크롤되면 기사를 다시 가져옵니다. 이때는 동일한 get 요청이지만 Content-Type이 application/json 인 형식이 반환됩니다. 여기서는 동일한 방법을 사용하여 일반 일치를 사용합니다. 찾아서 필요한 형식으로 포맷하세요.

동시에 can_msg_continue 가 0이면 맨 아래로 끌어내려 모든 물품을 획득했다는 뜻이다.

이 시점에서 기사 제목, 저자 및 URL을 포함하여 공개 계정의 모든 기사를 얻었습니다. 하지만 읽은 내용과 좋아요가 없습니다. 특정 기사 링크를 열어야 볼 수 있습니다.

2. 아직 읽기 및 좋아요 수를 얻지 못했습니다. 다음 단계는 WeChat 브라우저가 특정 기사를 계속 열고 WeChat 브라우저를 실행하여 읽기 및 좋아요 수를 가져오도록 하는 것입니다. 여기서는 기사 페이지를 사용자 정의 서버에 연결하는 데 사용됩니다. 서버는 다음에 클릭되는 기사 링크를 브라우저에 적극적으로 알리는 방식으로 양방향 통신을 통해 특정 기사의 읽기 횟수와 좋아요를 한 번에 얻을 수 있습니다. 주기.

 socket . on ( 'url' , function ( data ) {
    window . location = data . url ;
} ) ;

DOM 요소가 렌더링된 다음 수집되어 서버로 전송되는지 확인하기 위해 브라우저 측에서 읽기 및 좋아요 수를 지속적으로 확인할 수 있습니다. 또한 anyproxy를 사용하여 직접 확인할 수도 있습니다(여기서는 이전 방법을 사용합니다).

 key = setInterval ( function ( ) {
        var readNum = $ ( '#readNum3' ) . text ( ) . trim ( ) ;

        if ( ! readNum ) return ;
        var likeNum = $ ( '#likeNum3' ) . text ( ) . trim ( ) ;
        var postUser = $ ( '#post-user' ) . text ( ) . trim ( ) ;
        var postDate = $ ( '#post-date' ) . text ( ) . trim ( ) || $ ( '#publish_time' ) . text ( ) . trim ( ) ;
        var activityName = $ ( '#activity-name' ) . text ( ) . trim ( ) ;
        var js_share_source = $ ( '#js_share_source' ) . attr ( 'href' ) ;
        socket . emit ( 'crawler' , {
            readNum : readNum ,
            likeNum : likeNum ,
            postUser : postUser ,
            postDate : postDate ,
            activityName : activityName ,
            js_share_source : js_share_source
        } ) ;
    } , 1000 ) ; 

실습 시 주의할 점

원리는 매우 간단합니다. 실제 머신 크롤러, 중간자 공격, 자바스크립트 삽입을 기반으로 브라우저가 인간의 작업 프로세스를 시뮬레이션하도록 합니다.

1. 웹페이지를 금지하는 콘텐츠 보안 정책입니다. CSP의 핵심은 화이트리스트 시스템입니다. 개발자는 어떤 외부 리소스를 로드하고 실행할 수 있는지 명확하게 알려줍니다. 이는 화이트리스트를 제공하는 것과 같습니다. 비활성화하지 않으면 삽입된 자바스크립트가 실행되지 않습니다. 여기서 접근 방식은 http 응답에서 csp 관련 헤더를 삭제하는 것입니다.

 // 删除微信网页的安全策略
delete header [ 'Content-Security-Policy' ] ;
delete header [ 'Content-Security-Policy-Report-Only' ] ;

2. WeChat 브라우저가 페이지 콘텐츠를 캐싱하는 것을 금지하고 응답 헤더 및 캐시 관련 콘텐츠도 수정합니다.

 header [ 'Expires' ] = 0 ;
 header [ 'Cache-Control' ] = 'no-cache, no-store, must-revalidate' ;