wechat_articles_spider

微信公眾號文章爬蟲（微信文章閱讀按讚的取得）

安裝

pip install wechatarticles

展示地址：

日更，獲取公眾號的最新文章鏈接，支持日更閱讀點讚評論正文

註：本項目僅供學習交流，嚴禁用於商業用途（此項目也沒辦法直接使用），無法達到開箱即用的程度。使用本專案需讀取文件+原始碼+動手實踐，參考範例程式碼（ test資料夾下）進行改寫。

提示：另外，已經有很多朋友（大佬）透過直接看源碼，已經基於這套項目，或者重寫，用於各自的需求。

實現思路一:

1. 從微信公眾號平台取得微信公眾所有文章的url
2. 登入微信PC端或行動端取得文章的閱讀數、按讚數、留言訊息

完整想法可以參考我的部落格: 記一次微信公眾號爬蟲的經歷（微信文章閱讀點讚的獲取）

實現思路二：

1. 登陸微信PC端或行動端取得公眾號所有文章的url，這種取得到的url數量大於500，具體數量每個微訊號不完全一致（目前只能一次性，無法取得第二次！！！請慎重使用test_GetUrls.py ，最好不用。
2. 同上種方法，取得文章閱讀數、按讚數、評論訊息

公開已爬取的公眾號歷史文章的永久鏈接，日期均截止commit時間，僅供測試與學習，歡迎各位關注這些優質公眾號。

公眾號列表

科技美學

共青團中央

南方週末

AppSo

## Notes

計畫始於2017年，目前更新於2023年3月

專案程式碼進行調整，呼叫先前的介面請使用pip install wechatarticles 。

1. 爬取失敗的時候，可能有以下原因
   1. 運作的時候需要關閉網路代理（抓包軟體），或加入相關參數
   2. 參數是否最新，取得微信相關參數（cookie、token）時，一定要保證是對應公眾號的任意文章
   3. 檢查程式碼
   4. 需要注意對應公眾號（Maybe）
2. 思路一取得url時，每頁間隔可以設定久一點，例如3分鐘，持續時間幾小時（來自網友測驗）
3. 取得文章閱讀按讚時，每篇文章可設定在5-10s左右，過期時間為4小時；若被封，約5-10分鐘就可繼續抓取。
4. 思路二獲取url時，若被封，需要24小時整之後才能重新抓取（該條作廢，暫時不能解封）

參數文件說明請見README

python版本

• python : 3.6.2、3.7.3

功能實現

功能

公眾號相關

公眾號資訊

公眾號biz。取得方式：清博、公眾號網頁

公眾號發表文章數量（不完全準確）

文章相關

某公眾號文章的url。取得方式：公眾號網頁、PC端微信、行動端微信、微信讀書

某公眾號所有文章資訊（包含按讚數、閱讀數、留言資訊），需手動變更循環

某公眾號指定文章的信息

支援微信文章下載至本地轉為html（圖片可選是否儲存）

API實例

利用公眾號網頁版取得微信文章url

這裡有次數限制，不可一次取得太多url。解決方案多個帳號同時爬取test_WechatUrls.py

登入微信PC端取得文章資訊（閱讀按讚）

test_WechatInfo.py

快速獲取大量文章urls（利用歷史文章獲取連結）

test_GetUrls.py

微信文章下載為離線HTML（含圖）

test_Url2Html.py

學習/運作流程

可以看這個issue，十分感謝大佬簡潔的文字說明。

相關文件

請參閱部落格與下方文檔

official_cookie和token手動取得方式請參閱這篇文檔

wechat_cookie和appmsg_token手動取得的介紹，可以參考這篇文檔

聯絡注意事項：

1. 不（能）做自動登入微信公眾號、微信

2. 不（能）做即時（取得參數、閱讀按讚、取得文章）

3. 換一個公眾號、參數過期，均需手動更新，如何取得參數皆在文章中提及，請仔細查閱

4. 不能做關鍵字搜尋（即微信搜一搜功能），例如搜尋所有包含「科技」兩個字的文章。

Q & A

1. 專案能不能正常運作？

   答：項目可正常運作。

2. xxx怎麼運作/啟動，需要取得哪些參數？

   答：請看源碼，並手動運行看看輸出報錯。

3. xxx參數怎麼取得？

   答：文件和部落格均描述的很清楚，請仔細閱讀。

4. 我要xxxx，需要怎麼做？

   答：看文檔，看源碼

5. 網頁每日更新的方式怎麼做的？

   答：不是萬能key。方案很簡單，就是類比點擊+代理軟體(Fiddler或Mitmproxy)攔截包，每日抓一次，如果你有更好的方案也歡迎告知。這部分未開源（如果有看到相關完整開源的可以提個issue學習一下），純粹是因為配環境+客製化太麻煩，而且存在一定的問題。懂的看到這裡能夠實現的就能實現，如果問我也不好回答你，太耗時耗力。

6. PC端微信與抓包軟體Fiddler是必裝的嗎？

   答：不是。這只是我了解(認為)到，這兩個是相對最容易完成整個過程的。替代方案：可以抓手機端的微信（安卓和IOS均可，安卓的要root才能抓到閱讀點讚）；抓包軟體Fiddler這個可替代的很多，只要能進行HTTPS抓包查看數據就行。

7. 大量公眾號的文章怎麼抓？

   答：本項目無法實現。沒很好的方案，參考5。切換一個公眾號的時間成本大概要3-5分鐘，視熟練度而異。

廣告位

附錄

問問題的正常方式：

1. 描述清楚你運作的系統環境、Python環境...（這步驟可選擇性忽略）
2. 運行了什麼程式碼（改動了哪部分），報了什麼錯（請完整截圖）？
3. 自己根據報錯做了哪些嘗試？ （文件中是否有描述？在網路上搜尋的解決方案有哪些）

程式是實踐出真知，運行的正確與否可以直接試出來，沒必要耽誤兩個人的時間。如果運行出了問題，請按照以上流程進行提問，但前提是自己要運行過。請直接說問題or需求，不需要等我回覆再說。謝謝！大部分問題均可以交流，如果事無鉅細的提問，也接受付費教學。

微信讚賞碼