wechat spider

WeChat-Crawler

Das Folgende ist das Bereitstellungsdokument

Die technische Dokumentation finden Sie unter: https://t.zsxq.com/7ubmqNJ

Den Reverse-Crawling-Plan finden Sie unter: https://wx.zsxq.com/dweb2/index/topic_detail/215584212588541

Funktion:

• Erkennen Sie täglich neue Artikel, die von öffentlichen Konten veröffentlicht werden
• Erfassen Sie Informationen zu öffentlichen Konten
• Artikelliste abrufen
• Artikelinformationen abrufen
• Erfassen Sie Messwerte, Likes und Kommentare
• Kommentarinformationen abrufen
• Konvertieren Sie einen temporären Link in einen permanenten Link

Download-Adresse der gepackten ausführbaren Datei

Link: https://pan.baidu.com/s/1hyhj6YnV-L9w8LPx42FFzQ Passwort: qnk6

Besonderheit:

1. Keine Installation erforderlich : Unterstützt Mac und Windows. Doppelklicken Sie auf die Software, um sie auszuführen
2. Automatisierung : Sie müssen lediglich die Liste der zu überwachenden öffentlichen Konten konfigurieren und können nach dem Starten der Software jeden Tag automatisch öffentliche Konten, Artikel und andere Informationen erfassen
3. Gutes Andocken : Die erfassten Daten werden mit MySQL gespeichert, was die Datenverarbeitung erleichtert
4. Keine fehlenden Elemente : Verwenden Sie die Aufgabenstatusmarkierung, um zu verhindern, dass jedes öffentliche Konto und jeder Artikel übersehen wird
5. Verteilt : Unterstützt die gleichzeitige Erfassung mehrerer WeChat-Signale, und der WeChat-Client unterstützt alle Plattformen von Android, iPhone, Mac und Windows

Datenbeispiel

1. Offizielle Kontodaten

2. Artikellistendaten

3. Artikeldaten

4. Lesen Sie die Likes- und Kommentardaten

5. Kommentieren Sie die Daten

Erforderliche Umgebung

1. MySQL: Wird zum Speichern erfasster Daten und Aufgabentabellen verwendet
2. Redis: Task-Cache, reduziert die Anzahl der MySQL-Vorgänge

Installationskonfiguration

Die folgenden Installationsanweisungen dienen nur als Referenz. Da jede Umgebung anders ist, kann die Installation etwas anders sein. Sie können die Informationen online einsehen.

1. Installieren Sie MySQL

1.1 Fenster

1.2 Mac

2. Installieren Sie Redis

2.1 Fenster

2.2 Mac

3. Installieren Sie das Zertifikat

Sie können mitm.it mit einem Browser besuchen und herunterladen oder erfahren, wie Sie das Mitmproxy-Zertifikat von Baidu installieren

3.1 iPhone

1. Vergessen Sie nach dem Herunterladen und Installieren nicht den letzten Schritt
2. Öffnen Sie „Einstellungen“ – „Allgemein“ – „Über diesen Mac“ – „Einstellungen für die Zertifikatsvertrauensstellung“.
3. Aktivieren Sie die Mitmproxy-Option.

3.2 Android

1. Nach der Installation prüfen
2. Öffnen Sie „Einstellungen – Sicherheit – Vertrauenswürdige Anmeldeinformationen“.
3. Prüfen Sie, ob das installierte Zertifikat vorhanden ist

3.3 Fenster

2. Zum Ausführen doppelklicken
3. Auf dem lokalen Computer installieren
4. Überspringen, wenn der Schlüssel benötigt wird
5. Wählen Sie „Alle Zertifikate im folgenden Speicher ablegen“ und dann „Vertrauenswürdige Stammzertifizierungsstellen“ aus.
6. Schließlich erscheint ein Warnfenster. Klicken Sie einfach auf „Ja“.

3.4 Mac

2. Doppelklicken Sie nach dem Herunterladen zum Installieren
3. Öffnen Sie „Keychain Access.app“.
4. Wählen Sie „Login“ (Schlüsselanhänger) und „Zertifikate“ (Kategorie), um mitmproxy zu finden
5. Klicken Sie auf „mitmproxy“ und wählen Sie „Immer vertrauen“ aus

4. Proxy konfigurieren

Wenn Sie ein Mobiltelefon verwenden, müssen Sie sicherstellen, dass das Mobiltelefon und der Computer, auf dem Wechat-Spider ausgeführt wird, mit demselben Router verbunden sind.

3.1 iPhone

Öffnen Sie Einstellungen – WLAN – Verbundenes WLAN – Agent konfigurieren – Geben Sie manuell die IP und den Port 8080 des Installationsservers ein

3.2 Android

Öffnen Sie die Einstellungen – WLAN – drücken Sie lange auf das verbundene Netzwerk – ändern Sie das Netzwerk – erweiterte Optionen – geben Sie die IP und den Port 8080 des Installationsservers manuell ein

3.3 Fenster

Öffnen Sie Chrome-Einstellungen -> Erweitert

3.4 Mac

Öffnen Sie die Systemkonfiguration (System Preferences.app) – Netzwerk – Erweitert – Proxies – Secure Web Proxy (HTTPS) und geben Sie die IP und den Port 8080 des Installationsservers ein

Gebrauchsanweisung

1. Installieren Sie das Zertifikat und konfigurieren Sie den Agenten wie oben beschrieben.

2. Konfigurieren Sie config.yaml richtig

Die Hauptsache besteht darin, die Verbindungsinformationen von MySQL und Redis zu konfigurieren, um sicherzustellen, dass sie korrekt verbunden werden können.

3. Erstellen Sie eine Wechat-Datenbank

4. Starten Sie wechat-spider

Wenn in diesem Schritt der Wert auto_create_tables in der Konfiguration wahr ist, wird die MySQL-Datentabelle automatisch erstellt. Es wird empfohlen, ihn beim ersten Start auf true und nach dem Erstellen der Tabelle auf false zu setzen.

5. Erteilen Sie öffentliche Kontoaufgaben

Geben Sie Daten in wechat_account_task ein, wie zum Beispiel: Geben Sie einfach __biz ein, z. B.: MzIxNzg1ODQ0MQ==

6. Klicken Sie auf ein beliebiges öffentliches Konto, um historische Nachrichten anzuzeigen

Wenn die Eingabeaufforderung im roten Feld oben angezeigt wird, bedeutet dies, dass Sie fertig sind. Nach einer Weile können Sie zur Datenbank gehen, um die Daten zu überprüfen.

Technischer Austausch

Wenn Sie Fragen oder Anregungen haben, können Sie der QQ-Gruppe beitreten, um die Themen gemeinsam zu diskutieren. Bitte beachten Sie微信爬虫学习交流

FAQ

1. MySQL-Link-Problem

Problem: Beim Verknüpfen wird ein Objekt ausgegeben, das die Puffer-API-erforderliche Ausnahme unterstützt Lösung: Wenn der Schlüssel eine Ganzzahl ist, z. B. 123456, müssen Sie wie folgt doppelte Anführungszeichen in die Konfigurationsdatei einfügen:

 mysqldb:
  ip: localhost
  port: 3306
  db: wechat
  user: root
  passwd: "123456"
  auto_create_tables: true # 是否自动建表 建议当表不存在是设置为true，表存在是设置为false，加快软件启动速度

2. Nach der korrekten Konfiguration des Proxys wird eine Zertifikats- oder Sicherheitsfrage angezeigt.

Der Grund dafür ist, dass mein Zertifikat abgelaufen ist. Die Installationsdaten finden Sie unter https://www.cnblogs.com/yunlongaimeng/p/9617708.html.

3. Weisen Sie darauf hin, dass keine Aufgabe vorliegt

Prüfen Sie, ob __biz in der Tabelle wechat_account_task ausgeliefert wird. Sie können weitere Tests durchführen

4. Ausnahme: DISCARD ohne MULTI

5. Das Paket kann nach dem normalen Start nicht erfasst werden

1. Prüfen Sie, ob Proxy eingestellt ist
2. Prüfen Sie, ob der Port belegt ist

WeChat-Belohnungen

Open-Source-Projekte sind nicht einfach und nehmen oft die meiste Zeit in Anspruch. Um eine kontinuierliche Ausgabe von Inhalten zu gewährleisten, hoffe ich, dass Sie mich sehr unterstützen . *￣︶￣).

Kann Bereitstellungsunterstützung leisten und Fragen beantworten (nur für Trinkgelder an Benutzer und Entwickler, die PR erhöhen).

WeChat: boris_tm