wechat spider

Robot d'exploration WeChat

Voici le document de déploiement

Pour la documentation technique, veuillez consulter : https://t.zsxq.com/7ubmqNJ

Pour le plan d'exploration inversée, veuillez consulter : https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

Fonction:

• Détecter les nouveaux articles publiés quotidiennement par les comptes publics
• Capturez les informations du compte public
• Récupérer la liste des articles
• Récupérer les informations sur l'article
• Capturez des lectures, des likes et des commentaires
• Récupérer les informations des commentaires
• Convertir un lien temporaire en lien permanent

Adresse de téléchargement du fichier exécutable packagé

Lien : https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ Mot de passe : qnk6

fonctionnalité:

1. Aucune installation requise : supporte mac et window, double-cliquez sur le logiciel pour l'exécuter
2. Automatisation : Il vous suffit de configurer la liste des comptes publics à surveiller, et après avoir démarré le logiciel, vous pouvez capturer automatiquement les comptes publics, les articles et autres informations chaque jour
3. Bon docking : les données capturées sont stockées via mysql, ce qui facilite le traitement des données
4. Aucun élément manquant : utilisez le marquage de l'état des tâches pour éviter que chaque compte public et chaque article ne soit manqué
5. Distribué : prend en charge la collecte simultanée de plusieurs signaux WeChat et le client WeChat prend en charge toutes les plates-formes Android, iPhone, Mac et Windows.

Exemple de données

1. Données du compte officiel

2. Données de la liste d'articles

3. Données des articles

4. Lire les données de likes et de commentaires

5. Données de commentaires

Environnement requis

1. mysql : utilisé pour stocker les données capturées et les tables de tâches
2. redis : cache de tâches, réduisant le nombre d'opérations MySQL

Configuration de l'installation

Les instructions d'installation suivantes sont fournies à titre de référence uniquement. L'environnement de chacun étant différent, l'installation peut être légèrement différente. Vous pouvez vous référer aux informations en ligne.

1. Installez MySQL

Fenêtre 1.1

1.2 Mac

2. Installez Redis

Fenêtres 2.1

2.2 Mac

3. Installez le certificat

Vous pouvez visiter mitm.it avec un navigateur et le télécharger, ou comment installer le certificat mitmproxy depuis Baidu

iPhone 3.1

1. Après le téléchargement et l'installation, n'oubliez pas la dernière étape
2. Ouvrez Paramètres-Général-À propos de ces paramètres de confiance de certificat Mac
3. Activez l'option mitmproxy.

3.2 androïde

1. Vérifier après l'installation
2. Ouvrez Paramètres-Sécurité-Identifiants de confiance
3. Vérifiez si le certificat installé existe

Fenêtre 3.3

2. Double-cliquez pour exécuter
3. Installer sur un ordinateur local
4. Ignorer lorsque la clé est requise
5. Sélectionnez « Placer tous les certificats dans le magasin suivant », puis sélectionnez « Autorités de certification racine de confiance »
6. Enfin, une fenêtre d'avertissement apparaît, cliquez simplement sur "Oui".

3.4 Mac

2. Après le téléchargement, double-cliquez pour installer
3. Ouvrez le trousseau Access.app
4. Sélectionnez connexion (porte-clés) et certificats (catégorie) pour trouver mitmproxy
5. Cliquez sur mitmproxy et sélectionnez Toujours faire confiance en confiance

4. Configurer le proxy

Si vous utilisez un téléphone mobile, vous devez vous assurer que le téléphone mobile et l'ordinateur exécutant wechat-spider sont connectés au même routeur.

iPhone 3.1

Ouvrez Paramètres-LAN sans fil-Wifi connecté-Configurer l'agent-Renseignez manuellement l'IP et le port 8080 du serveur d'installation

3.2 androïde

Ouvrez les paramètres-WLAN-appuyez longuement sur le réseau connecté-modifiez le réseau-options avancées-remplissez manuellement l'IP et le port 8080 du serveur d'installation

Fenêtre 3.3

Ouvrez les paramètres Chrome->avancé

3.4 Mac

Ouvrir la configuration du système (System Preferences.app) - Réseau - Avancé - Proxies - Secure Web Proxy (HTTPS) Renseignez l'IP et le port 8080 du serveur d'installation

Mode d'emploi

1. Installez le certificat et configurez l'agent comme décrit ci-dessus.

2. Configurez correctement config.yaml

L'essentiel est de configurer les informations de lien de MySQL et Redis pour s'assurer qu'ils peuvent être connectés correctement.

3. Créer une base de données WeChat

4. Démarrez WeChat-Spider

Dans cette étape, si la valeur auto_create_tables dans config est vraie, la table de données mysql sera automatiquement créée. Il est recommandé de le définir sur true lors du premier démarrage et sur false après la création de la table.

5. Émettre des tâches de compte public

Saisissez des données dans wechat_account_task, telles que : Remplissez simplement __biz, tel que : MzIxNzg1ODQ0MQ==

6. Cliquez sur n'importe quel compte public pour afficher les messages historiques

Lorsque le message d'invite dans la case rouge ci-dessus apparaît, cela signifie que vous avez terminé. Après un certain temps, vous pouvez accéder à la base de données pour vérifier les données.

Echange technique

Si vous avez des questions ou des suggestions, vous pouvez rejoindre le groupe QQ pour discuter des problèmes ensemble. Veuillez noter微信爬虫学习交流

FAQ

1. Problème de lien mysql

Problème : L'objet d'impression prenant en charge l'API du tampon nécessitait une exception lors de la liaison Solution : Si la clé est un entier, tel que 123456, vous devez ajouter des guillemets doubles dans le fichier de configuration, comme suit :

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. Après avoir correctement configuré le proxy, un certificat ou une question de sécurité vous est demandé.

La raison est que mon certificat a expiré. Veuillez vous référer à https://www.cnblogs.com/yunlongaimeng/p/9617708.html pour les données d'installation.

3. Invite indiquant qu'il n'y a pas de tâche

Vérifiez si __biz est livré dans la table wechat_account_task. Vous pouvez émettre plus de tests

4. Exception : REJETER sans MULTI

5. Impossible de capturer le package après un démarrage normal

1. Vérifiez si le proxy est défini
2. Vérifiez si le port est occupé

Récompenses WeChat

Les projets open source ne sont pas faciles. Maintenir le code et résoudre les problèmes de chacun prend souvent la plupart du temps. Afin d'assurer une production continue de contenu, et ce projet vous sera utile , j'espère que vous me soutiendrez beaucoup ( *￣︶￣).

Peut fournir une assistance au déploiement et répondre aux questions (uniquement pour les utilisateurs et les développeurs qui soulèvent des relations publiques).

WeChat : boris_tm