wechat articles crawler

Anyproxy に基づいた WeChat パブリック アカウントの記事のクロール (閲覧やいいね! など)

録画されたビデオ: クリックして移動

基本原則

1. AnyProxy は、fiddler や charles に似た Alibaba オープン ソース HTTP プロキシ サーバーですが、二次開発機能を提供し、http/https リクエストとレスポンスを変更するための JS コードを作成できます。
2. WeChat パブリック アカウントのすべての記事をクロールするには、まずすべての記事を取得し、次に記事を 1 つずつ開いて、記事のタイトル、作成者、読み取り数、いいね! の数を取得します (読み取り数といいね! の数は、 WeChat アプリの内蔵ブラウザで取得できます)
3. 各 WeChat 公開アカウントには、查看历史消息機能が用意されています。クリックしてこの Web ページを開き、スクロールを続けると公開されたすべての記事が表示されます。このステップでは、anyproxy に基づいて Web ページの HTML が変更され、ページが下にスクロールし続けると、すべての記事のリストが取得されるようにするための js スクリプトが挿入されます。 本質的には中間者攻撃です。
4. すべての記事の内容 (URL、タイトル、公開時刻などを含む) を取得したら、次のステップは、これらの記事の Web ページを 1 つずつ開くように WeChat ブラウザに循環的に通知することです。各記事の Web ページにも js スクリプトが注入されており、ページのいいね数や閲覧数を継続的にチェックし、記事のいいね数や閲覧数が検出されるたびにサーバーに送信されます。バックグラウンドで正常に受信されると、WeChat ブラウザが次の URL を開きます。ここではsocketioを使ってWeChatブラウザと自作koaサーバー間の通信を実現します。

図に示すように:

記事リストのデモを取得します。

記事のリンクを 1 つずつ開きます。

走り方

最初のステップは、anyproxy を正常にインストールすることです。このステップについては、https を正常にプロキシし、https の本体コンテンツを表示できるように詳細に書かれている anyproxy のチュートリアルを読んでください。

 yarn install
yarn start

result.html が自動的に開き、クロールされた記事の内容をリアルタイムで表示します。その後、履歴ページが最後までスクロールされます。記事が 1 つずつ開かれ、コンテンツがクロールされます。

具体的なプロセス

1. 最初のステップは、公開アカウントのすべての過去の記事を取得することです。 anyproxy プロキシが設定されている実マシンで、履歴メッセージを確認します。この時点で、WeChat は履歴記事の Web ページを開きます。 HTML ドキュメントを取得します。 var msgList必要な履歴記事データです。単純な正規一致を使用して不正な文字が置き換えられ、JSON.parse が必要な形式に変換されます。 anyproxy に基づいて、Web ページを自動的に下にスクロールさせ、ブラウザをトリガーしてさらに記事を取得することを目的として、この HTML ドキュメントにスクリプトを挿入します。

 var scrollKey = setInterval ( function ( ) {
    window . scrollTo ( 0 , document . body . scrollHeight ) ;
} , 1000 ) ;

Web ページを最後までスクロールすると、再度記事が取得されます。このときも同じ get リクエストですが、Content-Type がapplication/jsonの形式で返されます。ここでは、通常のマッチングが使用されます。それを見つけて、必要な形式にフォーマットします。

同時に、 can_msg_continueが 0 の場合は、一番下まで引っ張られてすべての記事が取得されたことを意味します。

この時点で、記事のタイトル、著者、URL を含む、公開アカウントのすべての記事が取得されました。ただし、閲覧数やいいね数はありません。閲覧するには特定の記事のリンクを開く必要があります。

2. まだ閲覧数といいね数を取得していません。次のステップは、WeChat ブラウザで特定の記事を開かせ続け、閲覧数といいね数を取得するように WeChat ブラウザをトリガーすることです。ここでは、Socket.io を使用して記事ページをカスタム サーバーに接続し、サーバーが次にクリックされた記事リンクをブラウザーに積極的に通知することで、特定の記事の閲覧数といいね! を 1 回で取得できます。サイクル。

 socket . on ( 'url' , function ( data ) {
    window . location = data . url ;
} ) ;

閲覧数といいね! はブラウザ側で継続的にチェックして、DOM 要素がレンダリングされ、収集されてサーバーに送信されているかどうかを確認できます。また、anyproxy を使用して直接チェックすることもできます (ここでは前者の方法を使用します)。

 key = setInterval ( function ( ) {
        var readNum = $ ( '#readNum3' ) . text ( ) . trim ( ) ;

        if ( ! readNum ) return ;
        var likeNum = $ ( '#likeNum3' ) . text ( ) . trim ( ) ;
        var postUser = $ ( '#post-user' ) . text ( ) . trim ( ) ;
        var postDate = $ ( '#post-date' ) . text ( ) . trim ( ) || $ ( '#publish_time' ) . text ( ) . trim ( ) ;
        var activityName = $ ( '#activity-name' ) . text ( ) . trim ( ) ;
        var js_share_source = $ ( '#js_share_source' ) . attr ( 'href' ) ;
        socket . emit ( 'crawler' , {
            readNum : readNum ,
            likeNum : likeNum ,
            postUser : postUser ,
            postDate : postDate ,
            activityName : activityName ,
            js_share_source : js_share_source
        } ) ;
    } , 1000 ) ; 

練習時の注意点

原理は非常にシンプルで、実際のマシンのクローラー、中間者攻撃、および JavaScript スクリプトの挿入に基づいて、ブラウザーに人間の操作プロセスをシミュレートさせます。

1. Web ページを禁止するコンテンツ セキュリティ ポリシー。 CSP の本質はホワイトリスト システムであり、開発者はクライアントにどの外部リソースをロードして実行できるかを明確に通知します。これはホワイトリストを提供するのと同じです。無効にしない場合、挿入された JavaScript は実行されません。ここでのアプローチは、http 応答内の csp 関連ヘッダーを単純に削除することです。

 // 删除微信网页的安全策略
delete header [ 'Content-Security-Policy' ] ;
delete header [ 'Content-Security-Policy-Report-Only' ] ;

2. WeChat ブラウザによるページ コンテンツのキャッシュを禁止し、応答ヘッダーとキャッシュ関連コンテンツも変更します。

 header [ 'Expires' ] = 0 ;
 header [ 'Cache-Control' ] = 'no-cache, no-store, must-revalidate' ;