wechat_articles_spider

Robot d'exploration d'articles de compte public WeChat (obtention de likes pour la lecture d'articles WeChat)

Installer

pip install wechatarticles

Adresse d'affichage :

Mise à jour quotidienne, obtenez le dernier lien d'article du compte public, prenez en charge la mise à jour quotidienne, lisez les likes et les commentaires

Remarque : ce projet est uniquement destiné à l'apprentissage et à la communication, et est strictement interdit à un usage commercial (ce projet ne peut pas être utilisé directement) et ne peut pas atteindre le niveau prêt à l'emploi. Pour utiliser ce projet, vous devez lire la documentation + le code source + la pratique pratique, et vous référer à l'exemple de code (sous le dossier test ) pour la réécriture.

Astuce : De plus, de nombreux amis (des grands) se sont déjà basés sur cet ensemble de projets ou les ont réécrits pour répondre à leurs propres besoins en regardant directement le code source.

Première idée de mise en œuvre :

1. Obtenez les URL de tous les articles publics WeChat à partir de la plateforme de compte public WeChat
2. Connectez-vous à WeChat sur PC ou mobile pour obtenir le nombre de lectures, de likes et de commentaires des articles.

Pour des idées complètes, vous pouvez vous référer à mon blog : Souvenir d'une expérience d'exploration de comptes publics WeChat (obtention de likes pour la lecture d'articles WeChat)

Idée de mise en œuvre deux :

1. Connectez-vous au PC ou au terminal mobile WeChat pour obtenir les URL de tous les articles du compte public. Le nombre d'URL obtenues est supérieur à 500. Le nombre spécifique n'est pas complètement cohérent pour chaque identifiant WeChat (actuellement, il ne peut être obtenu qu'une seule fois). et ne peut pas être obtenu une deuxième fois !!! Veuillez utiliser test_GetUrls.py avec prudence, de préférence sans .)
2. Utilisez la même méthode que ci-dessus pour obtenir le nombre de lectures, de likes et de commentaires d’articles.

Les liens permanents des articles historiques des comptes publics sont divulgués. Les dates sont celles de la date de validation. Elles sont uniquement destinées aux tests et à l'apprentissage. Vous êtes invités à prêter attention à ces comptes publics de haute qualité.

Liste des comptes publics

Esthétique technologique

Comité central de la Ligue de la jeunesse communiste

week-end dans le sud

AppSo

## Remarques

Le projet a démarré en 2017 et est actuellement mis à jour en mars 2023

Pour ajuster le code du projet, veuillez utiliser pip install wechatarticles pour appeler l'interface précédente.

1. Lorsque l'exploration échoue, les raisons peuvent être les suivantes :
   1. Lors de l'exécution, vous devez désactiver le proxy réseau (logiciel de capture de paquets) ou ajouter les paramètres pertinents
   2. Que les paramètres soient les plus récents. Lors de l'obtention des paramètres liés à WeChat (cookie, token), assurez-vous qu'il s'agit de tout article correspondant au compte officiel.
   3. Vérifier le code
   4. Il faut faire attention au compte public correspondant (Peut-être)
2. Idée 1 : lors de l'obtention de l'URL, l'intervalle entre chaque page peut être défini plus long, par exemple 3 minutes, et la durée est de plusieurs heures (d'après les tests des internautes)
3. Lors de l'obtention de likes de lecture d'articles, chaque article peut être réglé sur environ 5 à 10 secondes, et le délai d'expiration est de 4 heures s'il est bloqué, il peut continuer à être récupéré dans environ 5 à 10 minutes ;
4. Idée 2 : Lors de l'obtention de l'URL, si elle est bloquée, il faudra 24 heures avant de pouvoir à nouveau l'explorer (cet article est invalide et ne peut pas être débloqué temporairement)

Veuillez consulter le fichier README pour la description du fichier de paramètres.

version python

• python : 3.6.2, 3.7.3

Réalisation de la fonction

Fonction

Lié au compte officiel

Informations sur le compte officiel

Entreprise de compte public. Comment l'obtenir : Qingbo, page Web du compte officiel

Nombre d'articles publiés sur les comptes publics (pas tout à fait exact)

Article lié

L'URL d'un certain article de compte public. Comment l'obtenir : page Web du compte officiel, PC WeChat, WeChat mobile, lecture WeChat

Toutes les informations sur les articles d'un certain compte public (y compris le nombre de likes, le nombre de lectures et les informations sur les commentaires) doivent être modifiées manuellement.

Informations sur les articles désignés d'un certain compte public

Prend en charge le téléchargement d'articles WeChat localement et leur conversion en HTML (facultatif si vous souhaitez enregistrer des images)

Exemple d'API

Utilisez la version Web du compte officiel pour obtenir l'URL de l'article WeChat

Il y a une limite au nombre de fois ici, vous ne pouvez donc pas obtenir trop d'URL à la fois. Solution : plusieurs comptes explorent test_WechatUrls.py en même temps

Connectez-vous à WeChat PC pour obtenir des informations sur l'article (lire et aimer)

test_WechatInfo.py

Obtenez rapidement un grand nombre d’URL d’articles (utilisez des articles historiques pour obtenir des liens)

test_GetUrls.py

Les articles WeChat sont téléchargés au format HTML hors ligne (y compris les images)

test_Url2Html.py

Processus d'apprentissage/d'exécution

Vous pouvez lire ce numéro, merci beaucoup pour l'explication concise.

Documents associés

Voir le blog et la documentation ci-dessous

Veuillez consulter ce document pour savoir comment obtenir manuellement official_cookie et token.

Pour une introduction à l'acquisition manuelle de wechat_cookie et appmsg_token, veuillez vous référer à ce document

Notes de contact :

1. Impossible (ne peut pas) se connecter automatiquement aux comptes officiels WeChat et à WeChat

2. Je ne peux pas (ne peux pas) faire du temps réel (obtenir des paramètres, lire des likes, obtenir des articles)

3. La modification d'un compte officiel ou l'expiration des paramètres nécessitent une mise à jour manuelle. Comment obtenir les paramètres est mentionné dans l'article, veuillez le lire attentivement.

4. Vous ne pouvez pas effectuer de recherches par mots clés (c'est-à-dire la fonction de recherche WeChat), comme rechercher tous les articles contenant le mot « technologie ».

Questions et réponses

1. Le projet peut-il se dérouler normalement ?

   Réponse : Le projet peut fonctionner normalement.

2. Comment exécuter/démarrer xxx et quels paramètres doivent être obtenus ?

   Réponse : Veuillez consulter le code source et l'exécuter manuellement pour voir l'erreur de sortie.

3. Comment obtenir les paramètres xxx ?

   Réponse : La documentation et le blog sont très clairs, veuillez les lire attentivement.

4. Je veux xxxx, que dois-je faire ?

   Réponse : Lisez la documentation et le code source

5. Comment mettre à jour la page Web quotidiennement ?

   Réponse : Ce n'est pas une clé universelle. La solution est très simple, elle consiste à simuler des clics + un logiciel proxy (Fiddler ou Mitmproxy) pour intercepter les paquets et les capturer une fois par jour. Si vous avez une meilleure solution, n'hésitez pas à nous le faire savoir. Cette partie n'est pas open source (si vous voyez l'open source complet correspondant, vous pouvez soulever un problème pour en savoir plus), simplement parce qu'il est trop compliqué de configurer l'environnement + personnalisation, et qu'il y a certains problèmes. Si vous voyez ce qui peut être réalisé ici, vous pouvez y parvenir. Si vous me le demandez, je ne peux pas vous répondre, cela prend trop de temps et d’énergie.

6. WeChat et le logiciel de capture de paquets Fiddler sont-ils requis sur PC ?

   Réponse : Non. C'est exactement ce que je comprends (je pense) que ces deux éléments sont relativement les plus simples pour terminer l'ensemble du processus. Alternatives : vous pouvez capturer WeChat sur les téléphones mobiles (Android et IOS sont disponibles, Android nécessite root pour capturer la lecture et les likes) ; il existe de nombreuses alternatives au logiciel de capture de paquets Fiddler, à condition qu'il puisse capturer les paquets HTTPS et afficher les données. .

7. Comment capturer des articles issus d’un grand nombre de comptes publics ?

   Réponse : Ce projet ne peut pas être réalisé. Il n’y a pas de bonne solution, veuillez vous référer au point 5. Le temps nécessaire pour changer de compte officiel est d'environ 3 à 5 minutes, selon le niveau de compétence.

Espace publicitaire

appendice

Manière normale de poser des questions :

1. Décrivez clairement l'environnement système et l'environnement Python dans lequel vous exécutez... (cette étape peut éventuellement être ignorée)
2. Quel code a été exécuté (quelle partie a été modifiée) et quelle erreur a été signalée (veuillez prendre une capture d'écran complète) ?
3. Qu'avez-vous essayé en fonction du rapport d'erreur ? (Y a-t-il une description dans le document ? Quelles sont les solutions recherchées en ligne)

La programmation vient de la pratique. Vous pouvez directement tester si l'opération est correcte ou non. Il n'est pas nécessaire de perdre du temps à deux. S'il y a un problème pendant le fonctionnement, veuillez suivre le processus ci-dessus pour poser des questions, mais uniquement si vous l'avez exécuté vous-même . N'hésitez pas à me faire part de vos questions ou besoins directement sans attendre ma réponse. Merci! La plupart des questions peuvent être échangées. Si vous posez des questions détaillées, nous accepterons également un enseignement payant.

Code d'appréciation WeChat