wechat spider

微信爬蟲

以下為部署文檔

技術文件請查看：https://t.zsxq.com/7ubmqNJ

逆向方式抓取的方案請參閱：https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

功能：

• 檢測公眾號每日新發文章
• 抓取公眾號訊息
• 抓取文章列表
• 抓取文章訊息
• 抓取閱讀量、按讚量、評論量
• 抓取評論訊息
• 臨時鏈接轉永久鏈接

打包好的執行檔下載地址

連結: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ 密碼: qnk6

特色：

1. 免安裝：支援mac、window，雙擊軟體即可執行
2. 自動化：只需要配置好待監控的公眾號列表，啟動軟體後即可每日自動抓取公眾號及文章等信息
3. 好對接：抓取到的資料使用mysql存儲，方便處理數據
4. 不漏採：採取任務狀態標記的方式，防止遺漏每一個公眾號、每一篇文章
5. 分散式：支援多個微訊號同時擷取，​​微信客戶端支援Android、iphone、Mac、Window 全平台

資料範例

1. 公眾號數據

2. 文章列表數據

3. 文章數據

4. 閱讀按讚評論數據

5. 評論數據

所需環境

1. mysql：用來儲存抓取到的資料以及任務表
2. redis：任務緩存，減少操作mysql的次數

安裝配置

以下安裝說明安需查看，僅作為參考。因每個人環境不同，可能安裝會有些差異，可參考網路上的資料

1. 安裝mysql

1.1 window

1.2 mac

2. 安裝redis

2.1 window

2.2 mac

3. 安裝證書

可用瀏覽器存取mitm.it 然後下載，或百度如何安裝mitmproxy證書

3.1 iphone

1. 下載安裝完畢後別忘記最後一步
2. 開啟設定-通用-關於本機-憑證信任設置
3. 開啟mitmproxy選項。

3.2 android

1. 安裝完畢檢查
2. 開啟設定-安全-信任的憑證
3. 查看安裝的憑證是否存在

3.3 window

2. 按兩下運行
3. 安裝到本機
4. 需要密鑰時跳過
5. 選擇“將所有的憑證都放入下列儲存”，接著選擇“受信任的根憑證授權單位”
6. 最後，彈出警告窗口，直接點擊“是”

3.4 mac

2. 下載完雙擊安裝
3. 開啟Keychain Access.app
4. 選擇login(Keychains)和Certificates(Category)中找到mitmproxy
5. 點選mitmproxy，在Trust中選擇Always Trust

4. 配置代理

如果使用手機，需要確保手機和執行wechat-spider的電腦連接在同一個路由器上

3.1 iphone

開啟設定-無線區域網路-所連接的Wifi-設定代理-手動填上該安裝伺服器的IP和連接埠8080

3.2 android

開啟設定-WLAN-長按所連接的網路-修改網路-進階選項-手動填入該安裝伺服器的IP和連接埠8080

3.3 window

開啟chrome 設定->高級

3.4 mac

開啟系統設定（System Preferences.app）- 網路（Network）- 進階（Advanced）- 代理程式（Proxies）- Secure Web Proxy(HTTPS) 填入該安裝伺服器的IP和連接埠8080

使用說明

1. 安裝如上說明安裝好證書及設定好代理

2. 正確設定config.yaml

主要是配置mysql及redis的連結訊息，確保能正確連結上

3. 建立資料庫wechat

4. 啟動wechat-spider

此步驟如果config裡的auto_create_tables值為true時，會自動建立mysql資料表。建議首次啟動時設定為true，建立完表後設定為false

5. 下發公眾號任務

錄入資料到wechat_account_task, 如：只填寫__biz就好, 如：MzIxNzg1ODQ0MQ==

6. 點選任一公眾號，查看歷史消息

當出現如上紅框中的提示訊息時，表示大功告成了，過一會可以去資料庫裡驗證資料了

科技交流

若大家有什麼疑問或指教，可加qq群，一起討論問題。請備註微信爬虫学习交流

常見問題

1. mysql 連結問題

問題：連結時印出object supporting the buffer api required異常解決: 如果金鑰是整形的，如123456，需要在設定檔中加雙引號，如下：

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. 正確配置完代理後提示憑證或安全性問題

原因是我那張證書失效了，可參考https://www.cnblogs.com/yunlongaimeng/p/9617708.html 安裝數據

3. 提示無任務

檢查wechat_account_task 表中是否下發了__biz。可多下發幾個測試

4. Exception:DISCARD without MULTI

5. 正常啟動後抓不到包包

1. 檢是否有設定代理
2. 檢查連接埠是否被佔用

微信攢賞

開源專案不易，維護程式碼以及解決大家問題往往佔據了大部分時間，為了保證內容持續輸出，且本專案恰巧對您有幫助，還望多多支援哦(*￣︶￣)。

可提供部署支持，答疑解惑（僅限打賞用戶、提PR的開發者）。

微信: boris_tm