wescraper

WeScraper (WEchat GRATTOIR)

Cet outil utilise Python2.7 et Scrapy pour rechercher des articles sur le compte public WeChat.

Tutoriel

Requête directe depuis la ligne de commande

Installez Scrapy et interrogez directement.

 pip install scrapy
python wescraper/scraper.py account liriansu miawu > we.json # 查询liriansu和miawu相关的公众号
python wescraper/scraper.py key-day liriansu miawu > we.json # 查询liriansu和miawu相关的文章（一天内）

Requête du serveur Web

Installez Scrapy et Tornado et interrogez via le serveur local :

 pip install scrapy tornado
python wescraper/server.py

Une fois le serveur démarré, vous pouvez obtenir la liste des articles du compte public WeChat via http://localhost/account/foo/bar/baz...

Ou vous pouvez utiliser http://localhost/key-year/foo/bar/baz... pour interroger les articles du compte public par mot-clé.

Appel de code Python

Voir le code source de scraper.py

Description détaillée

• Pour certains paramètres configurables, voir config.py

• L'interrogation du compte public obtiendra par défaut le premier de la liste.

• Cet outil peut être banni. Pour des solutions, veuillez vous référer à Scrapy : éviter d'être banni (d'une manière générale, changer l'IP peut résoudre le problème).

• Un pool de cookies est conservé dans cookie.py, qui sélectionnera au hasard n cookies pour l'accès. Si le cookie est interdit, un nouveau cookie sera remplacé.

• Bienvenue pour modifier en fonction de ce code, pensez à exécuter le test unitaire : python wescraper/test/test.py

• Cet outil s'appuie entièrement sur Sogou WeChat pour rechercher et explorer les articles. Si l'interface de recherche de Sogou WeChat change, l'exploration peut échouer.

• Python est génial !

Droit d'auteur/Avis de non-responsabilité

Le droit d'auteur du code appartient à l'auteur original de GitHub @LKI. L’utilisation commerciale est strictement interdite, les autres reproductions/Fork sont gratuites.