wescraper
1.0.0
Dieses Tool verwendet Python2.7 und Scrapy, um Artikel in öffentlichen WeChat-Konten zu durchsuchen.
Installieren Sie Scrapy und fragen Sie direkt ab.
pip install scrapy
python wescraper/scraper.py account liriansu miawu > we.json # 查询liriansu和miawu相关的公众号
python wescraper/scraper.py key-day liriansu miawu > we.json # 查询liriansu和miawu相关的文章（一天内）
Installieren Sie Scrapy und Tornado und fragen Sie über den lokalen Server ab:
pip install scrapy tornado
python wescraper/server.py
Nachdem der Server gestartet wurde, können Sie die Artikelliste des öffentlichen WeChat-Kontos über http://localhost/account/foo/bar/baz... abrufen.
Oder Sie können http://localhost/key-year/foo/bar/baz... verwenden, um öffentliche Account-Artikel nach Schlüsselwörtern abzufragen.
Siehe scraper.py-Quellcode
Einige konfigurierbare Parameter finden Sie unter config.py
Bei der Abfrage des öffentlichen Kontos wird standardmäßig das erste Konto in der Liste abgerufen.
Dieses Tool kann gesperrt werden. Lösungen finden Sie unter Scrapy: Sperrung vermeiden (im Allgemeinen kann das Problem durch Ändern der IP gelöst werden).
In cookie.py wird ein Cookie-Pool verwaltet, der zufällig n Cookies für den Zugriff auswählt. Wenn das Cookie gesperrt wird, wird es durch ein neues Cookie ersetzt.
Willkommen zum Ändern basierend auf diesem Code. Denken Sie daran, den Komponententest auszuführen: python wescraper/test/test.py
Dieses Tool verlässt sich beim Suchen und Crawlen von Artikeln vollständig auf Sogou WeChat. Wenn sich die Suchoberfläche von Sogou WeChat ändert, schlägt das Crawlen möglicherweise fehl.
Python ist großartig!
Das Code-Copyright liegt beim ursprünglichen GitHub-Autor @LKI. Die kommerzielle Nutzung ist strengstens untersagt, sonstige Vervielfältigung/Fork ist kostenlos.
