wescraper

WeScraper (WEchat SCRAPER)

本工具使用Python2.7和scrapy來搜尋微信公眾號文章。

使用教程

命令列直接查詢

安裝Scrapy，直接查詢。

 pip install scrapy
python wescraper/scraper.py account liriansu miawu > we.json # 查询liriansu和miawu相关的公众号
python wescraper/scraper.py key-day liriansu miawu > we.json # 查询liriansu和miawu相关的文章（一天内）

Web Server查詢

安裝Scrapy與Tornado，透過本機server查詢：

 pip install scrapy tornado
python wescraper/server.py

在server起來以後就可以透過http://localhost/account/foo/bar/baz...來取得微信公眾號文章清單了。

或可透過http://localhost/key-year/foo/bar/baz...以關鍵字來查詢公眾號文章。

Python Code調用

參見scraper.py源碼

詳細說明

• 一些可設定的參數請見config.py

• 查詢公眾號預設取得清單的第一個。

• 本工具有可能會被Ban，解決方案可以參考Scrapy: Avoiding getting banned （一般而言，換IP就可以解決問題了）

• cookie.py內維護了一個Cookie池，會在n個Cookie中隨機選取來訪問，如果Cookie被ban了就會換一個Cookie。

• 歡迎在本程式碼基礎上修改，記得跑單元測試噢： python wescraper/test/test.py

• 本工具完全依賴搜狗微信搜尋抓取文章，如果搜狗微信搜尋介面什麼的變了可能就會抓取失敗。

• Python大法好！

版權/免責

程式碼版權歸GitHub原作者@LKI 所有。 嚴禁用於商業用途，其它轉載/Fork隨意。