wechat spider

WeChat クローラー

以下は展開ドキュメントです

技術文書については、https://t.zsxq.com/7ubmqNJ をご覧ください。

逆クロール プランについては、https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541 を参照してください。

関数：

• 公開アカウントによって毎日投稿される新しい記事を検出します
• 公開アカウント情報を取得する
• 記事リストを取得する
• 記事情報の取得
• 閲覧数、いいね、コメントを取得する
• コメント情報を取得する
• 一時リンクを永久リンクに変換する

パッケージ化された実行可能ファイルのダウンロード アドレス

リンク: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ パスワード: qnk6

特徴：

1. インストール不要: Mac と Windows をサポートし、ソフトウェアをダブルクリックして実行します。
2. 自動化: 監視する公開アカウントのリストを設定するだけで、ソフトウェアを起動すると、公開アカウント、記事、その他の情報を毎日自動的に取得できます。
3. 優れたドッキング: キャプチャされたデータは mysql を使用して保存され、データ処理が容易になります。
4. 欠落項目なし: タスク ステータス マーキングを使用して、すべての公開アカウントとすべての記事の欠落を防ぎます
5. 分散型: 複数の WeChat シグナルの同時収集をサポートし、WeChat クライアントは Android、iPhone、Mac、Windows のすべてのプラットフォームをサポートします

データ例

1.公式アカウントデータ

2. 記事一覧データ

3. 記事データ

4.「いいね！」とコメントのデータを読み取る

5. コメントデータ

必要な環境

1. mysql: キャプチャされたデータとタスク テーブルを保存するために使用されます。
2. redis: タスク キャッシュ、mysql 操作の数を減らす

インストール構成

次のインストール手順は参照のみを目的としています。人によって環境が異なるため、インストール方法が若干異なる場合があります。オンラインの情報を参照してください。

1.mysqlをインストールする

1.1ウィンドウ

1.2マック

2. Redisをインストールする

2.1 ウィンドウ

2.2マック

3. 証明書をインストールする

ブラウザで mitm.it にアクセスしてダウンロードすることも、Baidu から mitmproxy 証明書をインストールする方法もできます。

3.1 iPhone

1. ダウンロードしてインストールしたら、最後のステップを忘れないでください
2. 「設定」-「一般」-「この Mac について」-「証明書の信頼設定」を開きます。
3. mitmproxy オプションをオンにします。

3.2 アンドロイド

1. インストール後の確認
2. 「設定」-「セキュリティ」-「信頼できる認証情報」を開きます
3. インストールされた証明書が存在するかどうかを確認する

3.3 ウィンドウ

2. ダブルクリックして実行します
3. ローカルコンピュータにインストールする
4. キーが必要な場合はスキップします
5. 「すべての証明書を次のストアに配置する」を選択し、「信頼されたルート証明機関」を選択します。
6. 最後に警告ウィンドウが表示されますので、「はい」をクリックしてください。

3.4マック

2. ダウンロード後、ダブルクリックしてインストールしてください
3. キーチェーンアクセス.appを開きます
4. ログイン (キーチェーン) と証明書 (カテゴリ) を選択して mitmproxy を見つけます
5. 「mitmproxy」をクリックし、「Always Trust in Trust」を選択します。

4.プロキシの設定

携帯電話を使用している場合は、携帯電話と wechat-spider を実行しているコンピュータが同じルーターに接続されていることを確認する必要があります。

3.1 iPhone

設定を開く - ワイヤレス LAN - 接続済み Wifi - エージェントの構成 - インストール サーバーの IP とポート 8080 を手動で入力します

3.2 アンドロイド

設定を開きます - WLAN - 接続されているネットワークを長押しします - ネットワークを変更します - 詳細オプション - インストールサーバーの IP とポート 8080 を手動で入力します

3.3 ウィンドウ

クロム設定を開く -> 詳細

3.4マック

システム構成 (System Preferences.app) - ネットワーク - 詳細 - プロキシ - セキュア Web プロキシ (HTTPS) を開き、インストール サーバーの IP とポート 8080 を入力します。

使用説明書

1. 証明書をインストールし、前述のようにエージェントを構成します。

2. config.yaml を正しく設定する

主なことは、mysql と redis が正しく接続できるようにリンク情報を設定することです。

3. データベースwechatを作成する

4.wechat-spiderを開始する

このステップでは、config の auto_create_tables 値が true の場合、mysql データ テーブルが自動的に作成されます。初めて起動するときは true に設定し、テーブルの作成後は false に設定することをお勧めします。

5. パブリックアカウントタスクの発行

wechat_account_task に次のようなデータを入力します。 MzIxNzg1ODQ0MQ== のように __biz を入力するだけです。

6. 任意の公開アカウントをクリックして、履歴メッセージを表示します。

上の赤​​いボックス内のプロンプト メッセージが表示されたら、しばらくしてからデータベースにアクセスしてデータを確認できます。

技術交流

質問や提案がある場合は、QQ グループに参加して問題について一緒に話し合うことができます。微信爬虫学习交流にご注意ください

よくある質問

1.mysqlリンクの問題

問題: バッファ API をサポートするオブジェクトのリンク時に例外が出力される解決策: キーが 123456 などの整数の場合は、次のように構成ファイルに二重引用符を追加する必要があります。

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. プロキシを正しく構成すると、証明書または秘密の質問の入力を求められます。

理由は、証明書の有効期限が切れているためです。インストール データについては、https://www.cnblogs.com/yunlongaimeng/p/9617708.html を参照してください。

3. タスクがないことを通知する

wechat_account_task テーブルで __biz が配信されているかどうかを確認します。より多くのテストを発行できます

4. 例外: MULTI を使用しない DISCARD

5. 通常の起動後にパッケージをキャプチャできない

1. プロキシが設定されているか確認する
2. ポートが占有されているかどうかを確認する

WeChatの特典

オープンソース プロジェクトは簡単ではありません。コンテンツの継続的な出力を確保するために、コードの保守と全員の問題の解決に多くの時間が費やされることがよくあります。このプロジェクトがあなたにとって有益であることを願っています。 *￣︶￣)。

導入サポートを提供し、質問に回答できます (PR を上げたチップ ユーザーと開発者のみ)。

WeChat: boris_tm