wescraper

WeScraper (ВИЧАТ СКРЕПЕР)

Этот инструмент использует Python2.7 и Scrapy для поиска статей в общедоступных аккаунтах WeChat.

Учебник

Прямой запрос из командной строки

Установите Scrapy и делайте запросы напрямую.

 pip install scrapy
python wescraper/scraper.py account liriansu miawu > we.json # 查询liriansu和miawu相关的公众号
python wescraper/scraper.py key-day liriansu miawu > we.json # 查询liriansu和miawu相关的文章（一天内）

Запрос веб-сервера

Установите Scrapy и Tornado и выполните запрос через локальный сервер:

 pip install scrapy tornado
python wescraper/server.py

После запуска сервера вы можете получить список статей общедоступной учетной записи WeChat через http://localhost/account/foo/bar/baz...

Или вы можете использовать http://localhost/key-year/foo/bar/baz... для запроса статей общедоступного аккаунта по ключевому слову.

Вызов кода Python

См. исходный код Scraper.py.

Подробное описание

• Некоторые настраиваемые параметры см. в config.py.

• При запросе общедоступной учетной записи по умолчанию будет получена первая учетная запись в списке.

• Этот инструмент может быть забанен. Решения см. в разделе Scrapy: Как избежать бана (вообще говоря, смена IP может решить проблему).

• В файле cookie.py поддерживается пул файлов cookie, который случайным образом выбирает n файлов cookie для доступа. Если файл cookie запрещен, новый файл cookie будет заменен.

• Добро пожаловать на изменение на основе этого кода, не забудьте запустить модульный тест: python wescraper/test/test.py

• Этот инструмент полностью полагается на Sogou WeChat для поиска и сканирования статей. Если интерфейс поиска Sogou WeChat изменится, сканирование может завершиться неудачно.

• Питон великолепен!

Авторские права/Отказ от ответственности

Авторские права на код принадлежат оригинальному автору GitHub @LKI. Коммерческое использование строго запрещено, любое другое воспроизведение/форк бесплатно.