wescraper

WeScraper (WEchat RASPADOR)

Esta ferramenta usa Python2.7 e scrapy para pesquisar artigos de contas públicas do WeChat.

Tutorial

Consulta direta da linha de comando

Instale o Scrapy e consulte diretamente.

 pip install scrapy
python wescraper/scraper.py account liriansu miawu > we.json # 查询liriansu和miawu相关的公众号
python wescraper/scraper.py key-day liriansu miawu > we.json # 查询liriansu和miawu相关的文章（一天内）

Consulta do servidor web

Instale Scrapy e Tornado e consulte através do servidor local:

 pip install scrapy tornado
python wescraper/server.py

Depois que o servidor for iniciado, você poderá obter a lista de artigos da conta pública do WeChat em http://localhost/account/foo/bar/baz...

Ou você pode usar http://localhost/key-year/foo/bar/baz... para consultar artigos de contas públicas por palavra-chave.

Chamada de código Python

Veja o código-fonte scraper.py

Descrição detalhada

• Para alguns parâmetros configuráveis, consulte config.py

• Consultar a conta pública obterá a primeira da lista por padrão.

• Esta ferramenta pode ser banida Para soluções, consulte Scrapy: Evitando ser banido (de modo geral, alterar o IP pode resolver o problema).

• Um pool de cookies é mantido em cookie.py, que selecionará aleatoriamente n cookies para acesso. Se o cookie for banido, um novo cookie será substituído.

• Bem-vindo ao modificar com base neste código, lembre-se de executar o teste de unidade: python wescraper/test/test.py

• Esta ferramenta depende totalmente do Sogou WeChat para pesquisar e rastrear artigos. Se a interface de pesquisa do Sogou WeChat for alterada, o rastreamento poderá falhar.

• Python é ótimo!

Direitos autorais/isenção de responsabilidade

Os direitos autorais do código pertencem ao autor original do GitHub @LKI. O uso comercial é estritamente proibido, outras reproduções/fork são gratuitas.