wechat_spider
1.0.0
Непрерывное творчество и бесконечная доставка
В этом проекте используется метод управления для сбора статей из общедоступных учетных записей WeChat. Во-первых, вам необходимо понять два основных метода сбора общедоступных учетных записей WeChat. См. мою статью:
Как элегантно захватить исторические статьи из публичных аккаунтов WeChat
Итак, теперь обычно существует два метода: один через Sogou WeChat, а другой через прокси. В этом проекте для захвата используется прокси-метод.
Изначально я написал более сложный инструмент, используя Anyproxy Node.js и PHP-фреймворк Laravel для выполнения этих функций. Но однажды, принимая душ, я наконец понял, что на самом деле усложнил инструмент, который изначально был очень простым. Я дал несколько советов своему другу из СМИ, и он очень быстро начал им пользоваться.
В выходных данных есть две вещи: одна — wechat.sqlite, а другая — wechat.csv. Wechat.csv необходимо создать с помощью команды wechat_spider csv .
Ниже приведены данные, соответствующие моей публичной учетной записи:
Пояснение заголовка таблицы:
accountName: 公众号名称 author: 作者 title: 文章标题 contentUrl: 文章链接 cover: 文章封面图 digest: 文章摘要 idx: 如果是1，代表的是当天第一篇文章，如果是2，代表当天第二篇文章，以此类推。 sourceUrl: 阅读原文对应的链接 createTime: 文章创建时间 readNum: 阅读数 likeNum: 点赞数 rewardNum: 赞赏数 electedCommentNum: 被选择显示的回复数
Загрузите последнюю версию с сайта https://nodejs.org/zh-cn/.
Поскольку он основан на sqlite, процесс компиляции через node-gyp требует Python 2.x (3.x не работает) и VCBuild.exe, поэтому учащиеся Windows должны установить его, иначе возникнут ошибки.
Пользователи Windows могут загрузить и установить зависимости среды компиляции, набрав npm install --global --production windows-build-tools в PowerShell с правами администратора.
На Mac под терминалом, в Windows под cmd:
$ НПМ -v 4.3.0 $питон Python 2.7.6 (по умолчанию, 18 ноября 2013 г., 15:12:51) [GCC 4.2.1, совместимый с Apple LLVM 5.0 (clang-500.2.79)] на Дарвине Введите «помощь», «авторское право», «кредиты» или «лицензия» для получения дополнительной информации. >>>
Если выводится информация, подобная приведенной выше, это доказывает, что инструмент установлен.
$ npm install wechat_spider -g
$ wechat_spider --help Использование: wechat_spider [варианты] Параметры: -h, --help вывести информацию об использовании -V, --version вывести номер версии
Если выводится информация, подобная приведенной выше, это доказывает, что wechat_spider успешно установлен.
Для этого необходимо выполнить четыре шага: включить прокси-сервер, установить прокси-сервер на свой телефон, проверить историю общедоступной учетной записи, затем начать автоматическое сканирование и, наконец, создать CSV-файл.
Шаг 1. Откройте инструмент в терминале на Mac или cmd в Windows:
$wechat_spider
Сертификат доверия требуется в первый раз.
Папка сертификата будет открыта по умолчанию. Если она не открыта, откройте http://localhost:8002/fetchCrtFile в браузере, и вы также сможете получить файл rootCA.crt. После получения корневого сертификата дважды щелкните его и нажмите. следуйте инструкциям операционной системы, чтобы доверять rootCA:
Окна
Мак
Шаг 2. Используйте мобильный прокси:
Впервые вам необходимо установить сертификат на свой мобильный телефон. Откройте браузер: http://localhost:8002/qr_root. Используйте WeChat для сканирования QR-кода. [Важно] Откройте браузер:
Затем получите IP-адрес вашего компьютера, предполагая, что это 192.168.1.5.
Установите мобильный прокси на компьютер:
Шаг 3. Выберите официальную учетную запись WeChat и нажмите, чтобы просмотреть историю.
Шаг 4: Подождите, пока появится страница «Сбор общедоступной учетной записи завершен», после чего вы сможете сгенерировать CSV.
$ wechat_spider CSV
Я Джинма, программист, который хочет что-то сделать. Если этот гаджет вам поможет, можете купить мне чашечку кофе, спасибо :)
Массачусетский технологический институт.
