wechat_spider
1.0.0
Kontinuierliche Kreation und endlose Lieferung
Dieses Projekt verwendet die Verwaltungsmethode zum Erfassen öffentlicher WeChat-Konten. Zunächst müssen Sie die beiden gängigen Methoden zum Erfassen öffentlicher WeChat-Konten verstehen.
So erfassen Sie historische Artikel öffentlicher WeChat-Konten elegant
Daher gibt es im Allgemeinen zwei Methoden: eine über Sogou WeChat und die andere über einen Proxy. Dieses Projekt verwendet die Proxy-Methode zur Erfassung.
Ich habe ursprünglich ein komplexeres Tool geschrieben, das Anyproxy von Node.js und das Laravel-Framework von PHP verwendet, um diese Funktionen auszuführen. Aber eines Tages, als ich duschte, wurde mir schließlich klar, dass ich tatsächlich ein Tool kompliziert hatte, das ursprünglich sehr einfach war. Ich gab einem Medienfreund eine Anleitung und er begann sehr schnell damit.
Die Ausgabe enthält zwei Dinge: Das eine ist wechat.sqlite und das andere ist wechat.csv. Wechat.csv muss mit dem Befehl wechat_spider csv generiert werden.
Die folgenden Daten entsprechen meinem öffentlichen Konto:
Erklärung der Tabellenüberschrift:
accountName: 公众号名称 author: 作者 title: 文章标题 contentUrl: 文章链接 cover: 文章封面图 digest: 文章摘要 idx: 如果是1，代表的是当天第一篇文章，如果是2，代表当天第二篇文章，以此类推。 sourceUrl: 阅读原文对应的链接 createTime: 文章创建时间 readNum: 阅读数 likeNum: 点赞数 rewardNum: 赞赏数 electedCommentNum: 被选择显示的回复数
Laden Sie die neueste Version von der Website https://nodejs.org/zh-cn/ herunter.
Da es auf SQLite basiert, erfordert der Kompilierungsprozess über Node-Gyp Python 2.x (3.x funktioniert nicht) und VCBuild.exe, sodass Windows-Studenten es installieren müssen, da sonst Fehler auftreten.
Windows-Benutzer können die Abhängigkeiten der Kompilierungsumgebung herunterladen und installieren, indem sie unter PowerShell mit Administratorrechten npm install --global --production windows-build-tools eingeben.
Auf dem Mac unter Terminal, unter Windows unter cmd:
$ npm -v 4.3.0 $python Python 2.7.6 (Standard, 18. November 2013, 15:12:51) [GCC 4.2.1-kompatibles Apple LLVM 5.0 (clang-500.2.79)] auf Darwin Geben Sie „Hilfe“, „Copyright“, „Credits“ oder „Lizenz“ ein, um weitere Informationen zu erhalten. >>>
Wenn ähnliche Informationen wie oben ausgegeben werden, ist dies ein Beweis dafür, dass das Tool installiert wurde.
$ npm install wechat_spider -g
$ wechat_spider --help Verwendung: wechat_spider [Optionen] Optionen: -h, --help gibt Nutzungsinformationen aus -V, --version gibt die Versionsnummer aus
Wenn ähnliche Informationen wie oben ausgegeben werden, ist dies ein Beweis dafür, dass wechat_spider erfolgreich installiert wurde.
Es sind vier Schritte erforderlich: Aktivieren Sie den Proxy, richten Sie den Proxy auf Ihrem Telefon ein, überprüfen Sie den Verlauf des öffentlichen Kontos, starten Sie dann das automatische Crawlen und generieren Sie schließlich eine CSV.
Schritt 1: Öffnen Sie das Tool im Terminal auf dem Mac oder cmd unter Windows:
$ wechat_spider
Zum ersten Mal ist ein Vertrauenszertifikat erforderlich.
Der Zertifikatsordner wird standardmäßig geöffnet, öffnen Sie http://localhost:8002/fetchCrtFile im Browser und Sie können auch die Datei rootCA.crt abrufen, indem Sie darauf doppelklicken Befolgen Sie die Anweisungen des Betriebssystems, um der Root-CA zu vertrauen:
Windows
Mac
Schritt 2: Mobilen Proxy verwenden:
Zum ersten Mal müssen Sie ein Zertifikat auf Ihrem Mobiltelefon installieren: http://localhost:8002/qr_root. Verwenden Sie WeChat, um den QR-Code zu scannen.
Ermitteln Sie dann die IP-Adresse Ihres Computers, vorausgesetzt, diese lautet 192.168.1.5
Mobilen Proxy auf Computer einstellen:
Schritt 3: Wählen Sie ein offizielles WeChat-Konto aus und klicken Sie, um den Verlauf anzuzeigen
Schritt 4: Warten Sie, bis die Seite „Einzug eines öffentlichen Kontos abgeschlossen“ angezeigt wird. Anschließend können Sie eine CSV-Datei erstellen.
$ wechat_spider csv
Ich bin Jinma, eine Programmiererin, die etwas tun möchte. Wenn dieses Gadget für Sie hilfreich ist, können Sie mir eine Tasse Kaffee spendieren, danke :)
MIT.
