wechat spider

Rastreador de WeChat

El siguiente es el documento de implementación.

Para obtener documentación técnica, consulte: https://t.zsxq.com/7ubmqNJ

Para conocer el plan de rastreo inverso, consulte: https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

Función:

• Detectar nuevos artículos publicados diariamente por cuentas públicas.
• Capturar información de cuentas públicas
• Obtener lista de artículos
• Obtener información del artículo
• Capture lecturas, me gusta y comentarios.
• Obtener información de comentarios
• Convertir enlace temporal en enlace permanente

Dirección de descarga del archivo ejecutable empaquetado

Enlace: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ Contraseña: qnk6

característica:

1. No requiere instalación : admite Mac y Windows, haga doble clic en el software para ejecutarlo
2. Automatización : solo necesita configurar la lista de cuentas públicas a monitorear y, después de iniciar el software, puede capturar automáticamente cuentas públicas, artículos y otra información todos los días.
3. Buen acoplamiento : los datos capturados se almacenan utilizando mysql, lo que facilita el procesamiento de datos.
4. No faltan elementos : utilice el marcado del estado de la tarea para evitar que se pierdan todas las cuentas públicas y todos los artículos.
5. Distribuido : admite la recopilación simultánea de múltiples señales WeChat y el cliente WeChat admite todas las plataformas de Android, iPhone, Mac y Windows.

Ejemplo de datos

1. Datos de la cuenta oficial

2. Datos de la lista de artículos

3. Datos del artículo

4. Leer datos de me gusta y comentarios.

5. Comentar datos

Entorno requerido

1. mysql: utilizado para almacenar datos capturados y tablas de tareas
2. redis: caché de tareas, reduciendo la cantidad de operaciones de mysql

Configuración de instalación

Las siguientes instrucciones de instalación son solo como referencia. Debido a que el entorno de cada persona es diferente, la instalación puede ser ligeramente diferente. Puede consultar la información en línea.

1. Instalar mysql

1.1 ventana

1.2 mac

2. Instalar redis

2.1 ventanas

2.2 mac

3. Instale el certificado

Puede visitar mitm.it con un navegador y descargarlo, o cómo instalar el certificado mitmproxy de Baidu

3.1 iPhone

1. Después de descargar e instalar, no olvides el último paso.
2. Abra Configuración-General-Acerca de este Mac-Configuración de confianza del certificado
3. Active la opción mitmproxy.

3.2 androide

1. Comprobar después de la instalación
2. Abra Configuración-Seguridad-Credenciales confiables
3. Compruebe si existe el certificado instalado

3.3 ventana

2. Haga doble clic para ejecutar
3. Instalar en la computadora local
4. Saltar cuando se requiere clave
5. Seleccione "Colocar todos los certificados en el siguiente almacén" y luego seleccione "Autoridades de certificación raíz de confianza".
6. Finalmente, aparece una ventana de advertencia, simplemente haga clic en "Sí".

3.4 mac

2. Después de la descarga, haga doble clic para instalar
3. Abra la aplicación Keychain Access.
4. Seleccione iniciar sesión (Llaveros) y Certificados (Categoría) para encontrar mitmproxy
5. Haga clic en mitmproxy y seleccione Siempre confiar en confianza

4. Configurar el proxy

Si utiliza un teléfono móvil, debe asegurarse de que el teléfono móvil y la computadora que ejecuta wechat-spider estén conectados al mismo enrutador.

3.1 iPhone

Abra Configuración-LAN inalámbrica-Wifi conectado-Configurar agente-Complete manualmente la IP y el puerto 8080 del servidor de instalación

3.2 androide

Abra configuración-WLAN-mantenga presionada la red conectada-modifique la red-opciones avanzadas-rellene manualmente la IP y el puerto 8080 del servidor de instalación

3.3 ventana

Abra la configuración de Chrome->avanzada

3.4 mac

Abra Configuración del sistema (System Preferences.app) - Red - Avanzado - Proxies - Secure Web Proxy (HTTPS) Complete la IP y el puerto 8080 del servidor de instalación

Instrucciones de uso

1. Instale el certificado y configure el agente como se describe arriba.

2. Configurar correctamente config.yaml

Lo principal es configurar la información del enlace de mysql y redis para garantizar que se puedan conectar correctamente.

3. Crear base de datos wechat

4. Inicie wechat-spider

En este paso, si el valor de auto_create_tables en la configuración es verdadero, la tabla de datos MySQL se creará automáticamente. Se recomienda establecerlo en verdadero al iniciar por primera vez y en falso después de crear la tabla.

5. Emitir tareas de cuentas públicas

Ingrese datos en wechat_account_task, como por ejemplo: Simplemente complete __biz, como por ejemplo: MzIxNzg1ODQ0MQ==

6. Haga clic en cualquier cuenta pública para ver mensajes históricos.

Cuando aparece el mensaje en el cuadro rojo de arriba, significa que ha terminado. Después de un tiempo, puede ir a la base de datos para verificar los datos.

Intercambio técnico

Si tiene alguna pregunta o sugerencia, puede unirse al grupo QQ para discutir los temas juntos. Tenga en cuenta微信爬虫学习交流

Preguntas frecuentes

1. problema de enlace mysql

Problema: El objeto de impresión que admite la API del búfer requería una excepción al vincular Solución: si la clave es un número entero, como 123456, debe agregar comillas dobles en el archivo de configuración, de la siguiente manera:

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. Después de configurar correctamente el proxy, se solicita un certificado o una pregunta de seguridad.

El motivo es que mi certificado ha caducado. Consulte https://www.cnblogs.com/yunlongaimeng/p/9617708.html para obtener datos de instalación.

3. Avisar que no hay tarea.

Compruebe si __biz se entrega en la tabla wechat_account_task. Puedes emitir más pruebas.

4. Excepción: DESCARTAR sin MULTI

5. No se puede capturar el paquete después del inicio normal

1. Compruebe si el proxy está configurado
2. Comprobar si el puerto está ocupado

Recompensas de WeChat

Los proyectos de código abierto no son fáciles. Mantener el código y resolver los problemas de todos a menudo ocupa la mayor parte del tiempo. Para garantizar una producción continua de contenido, este proyecto resulta útil para usted , espero que me apoyen mucho ( *￣︶￣).

Puede proporcionar soporte de implementación y responder preguntas (solo para dar propinas a los usuarios y desarrolladores que plantean relaciones públicas).

WeChat: boris_tm