wechat spider

Сканер WeChat

Ниже приводится документ о развертывании.

Техническую документацию можно найти по адресу: https://t.zsxq.com/7ubmqNJ.

План обратного сканирования см. на странице https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541.

Функция:

• Обнаружение новых статей, ежедневно публикуемых общедоступными учетными записями
• Сбор информации об общедоступных учетных записях
• Получить список статей
• Получить информацию о статье
• Фиксируйте прочтения, лайки и комментарии
• Получить информацию о комментариях
• Преобразовать временную ссылку в постоянную ссылку

Адрес загрузки упакованного исполняемого файла

Ссылка: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ Пароль: qnk6

особенность:

1. Установка не требуется : поддерживает Mac и Windows, дважды щелкните программное обеспечение, чтобы запустить его.
2. Автоматизация : вам нужно только настроить список общедоступных учетных записей, которые будут отслеживаться, и после запуска программного обеспечения вы сможете автоматически собирать общедоступные учетные записи, статьи и другую информацию каждый день.
3. Хорошая стыковка : собранные данные сохраняются с использованием MySQL, что облегчает обработку данных.
4. Никаких пропущенных элементов : используйте маркировку статуса задачи, чтобы не пропустить каждую общедоступную учетную запись и каждую статью.
5. Распределенный : поддерживает одновременный сбор нескольких сигналов WeChat, а клиент WeChat поддерживает все платформы Android, iPhone, Mac и Window.

Пример данных

1. Официальные данные аккаунта

2. Данные списка статей

3. Данные статьи

4. Прочитайте данные о лайках и комментариях.

5. Данные комментариев

Требуемая среда

1. mysql: используется для хранения захваченных данных и таблиц задач.
2. redis: кеш задач, уменьшающий количество операций MySQL

Конфигурация установки

Следующие инструкции по установке предназначены только для справки. Поскольку среда у всех разная, установка может немного отличаться. Вы можете обратиться к информации в Интернете.

1. Установите MySQL

1.1 окно

1.2 макинтош

2. Установите редис

2.1 окна

2.2 макинтош

3. Установите сертификат

Вы можете посетить mitm.it с помощью браузера и загрузить его или как установить сертификат mitmproxy из Baidu.

3.1 айфон

1. После загрузки и установки не забудьте последний шаг.
2. Откройте Настройки-Основные-Об этом Mac-Настройки доверия сертификата.
3. Включите опцию mitmproxy.

3.2 андроид

1. Проверка после установки
2. Откройте «Настройки» — «Доверенные учетные данные безопасности».
3. Проверьте, существует ли установленный сертификат

3.3 окно

2. Дважды щелкните, чтобы запустить
3. Установить на локальный компьютер
4. Пропустить, когда требуется ключ
5. Выберите «Поместить все сертификаты в следующее хранилище», а затем выберите «Доверенные корневые центры сертификации».
6. Наконец, появится окно с предупреждением, просто нажмите «Да».

3.4 макинтош

2. После загрузки дважды щелкните, чтобы установить.
3. Откройте приложение Keychain Access.app.
4. Выберите логин (брелки) и сертификаты (категория), чтобы найти mitmproxy.
5. Нажмите mitmproxy и выберите «Всегда доверять доверию».

4. Настройте прокси

Если вы используете мобильный телефон, вам необходимо убедиться, что мобильный телефон и компьютер, на котором работает Wechat-паук, подключены к одному и тому же маршрутизатору.

3.1 айфон

Откройте Настройки-Беспроводная локальная сеть-Подключено Wi-Fi-Настроить агент-Вручную заполните IP и порт 8080 сервера установки.

3.2 андроид

Открыть настройки-WLAN-нажать и удерживать подключенную сеть-изменить сеть-дополнительные параметры-вручную заполнить IP и порт 8080 сервера установки.

3.3 окно

Откройте настройки Chrome->Дополнительно.

3.4 макинтош

Откройте конфигурацию системы (System Preferences.app) — Сеть — Дополнительно — Прокси — Защищенный веб-прокси (HTTPS) и введите IP и порт 8080 установочного сервера.

Инструкция по применению

1. Установите сертификат и настройте агент, как описано выше.

2. Правильно настроить config.yaml

Главное — настроить информацию о ссылках MySQL и Redis, чтобы обеспечить правильное соединение.

3. Создать базу данных WeChat

4. Запустите WeChat-паук

На этом этапе, если значение auto_create_tables в конфигурации истинно, таблица данных mysql будет создана автоматически. Рекомендуется установить значение true при первом запуске и значение false после создания таблицы.

5. Выдавать задания паблик-аккаунта

Введите данные в wechat_account_task, например: Просто заполните __biz, например: MzIxNzg1ODQ0MQ==

6. Нажмите на любую общедоступную учетную запись, чтобы просмотреть исторические сообщения.

Когда появится сообщение с подсказкой в ​​красном поле выше, это означает, что все готово. Через некоторое время вы можете перейти к базе данных для проверки данных.

Технический обмен

Если у вас есть какие-либо вопросы или предложения, вы можете присоединиться к группе QQ, чтобы вместе обсудить проблемы. Обратите внимание на微信爬虫学习交流

Часто задаваемые вопросы

1. проблема со ссылкой MySQL

Проблема: объект, поддерживающий исключение, необходимое для API буфера, печатается при связывании Решение. Если ключ является целым числом, например 123456, вам необходимо добавить двойные кавычки в файл конфигурации следующим образом:

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. После правильной настройки прокси-сервера будет предложен сертификат или контрольный вопрос.

Причина в том, что срок действия моего сертификата истек. Пожалуйста, обратитесь к https://www.cnblogs.com/yunlongaimeng/p/9617708.html для получения данных по установке.

3. Подсказать, что задачи нет

Проверьте, доставлен ли __biz в таблице wechat_account_task. Вы можете сдать больше тестов

4. Исключение: DISCARD без MULTI.

5. Невозможно захватить пакет после обычного запуска.

1. Проверьте, установлен ли прокси
2. Проверьте, занят ли порт

Награды WeChat

Проекты с открытым исходным кодом непросты. Поддержание кода и решение общих проблем часто отнимают большую часть времени. Чтобы обеспечить непрерывный выпуск контента, и этот проект окажется для вас полезным , я надеюсь, что вы меня очень поддержите ( *￣︶￣).

Может оказать поддержку при развертывании и ответить на вопросы (только за чаевые пользователей и разработчиков, которые поднимают пиар).

WeChat: boris_tm