weiboSpider
1.0.0
Dieses Programm kann die Daten eines oder mehrerer Sina Weibo-Benutzer (wie Hu Ge, Dilraba, Guo Biting) kontinuierlich crawlen und die Ergebnisinformationen in eine Datei oder Datenbank schreiben. Die schriftlichen Informationen umfassen fast alle Daten des Weibo-Benutzers, einschließlich zweier Kategorien: Benutzerinformationen und Weibo-Informationen . Da es zu viele Inhalte gibt, werde ich hier nicht auf Details eingehen. Weitere Informationen finden Sie in den erhaltenen Feldern. Wenn Sie nur Benutzerinformationen benötigen, können Sie die Funktion so einstellen, dass nur Weibo-Benutzerinformationen gecrawlt werden. Dieses Programm muss Cookies setzen, um Zugriff auf Weibo zu erhalten. Wie man Cookies erhält, wird später erklärt. Wenn Sie keine Cookies setzen möchten, können Sie die Cookie-freie Version nutzen, die über ähnliche Funktionen verfügt.
Crawling-Ergebnisse können in Dateien und Datenbanken geschrieben werden. Die spezifischen Schreibdateitypen sind wie folgt:
Es unterstützt auch das Herunterladen von Bildern und Videos von Weibo. Die spezifischen herunterladbaren Dateien sind wie folgt:
[Inhaltsverzeichnis]
In diesem Abschnitt werden die gecrawlten Feldinformationen beschrieben. Um sie von der Cookie-freien Version zu unterscheiden, werden die von beiden gecrawlten Informationen unten aufgeführt. Wenn die Informationen nur für die Version ohne Cookies gelten, werden sie als „ohne Cookies“ markiert, und die nicht markierten Informationen gelten für beide.
Wenn Sie die spezifischen Ausführungsergebnisse des Programms wissen möchten, können Sie sich das Beispieldokument ansehen, das ein Beispiel für das Crawlen von Dilirebas Weibo vorstellt und einige Screenshots der Ergebnisdateien anhängt.
Es gibt zwei Versionen dieses Programms. Die eine, die Sie jetzt sehen, ist die Python2-Version. Die Python2-Version befindet sich im Python2-Zweig. Derzeit entwickeln wir hauptsächlich die Python3-Version, einschließlich der Entwicklung neuer Funktionen und Fehlerbehebungen; die Python2-Version unterstützt nur Fehlerbehebungen. Es wird empfohlen, dass Python3-Benutzer die aktuelle Version verwenden, und Python2-Benutzern wird empfohlen, die Python2-Version zu verwenden. Diese Bedienungsanleitung gilt für die Python3-Version.
Dieses Programm bietet zwei Installationsmethoden, eine ist die Quellcode-Installation und die andere ist die Pip-Installation , die beide genau die gleichen Funktionen haben. Wenn Sie den Quellcode ändern müssen, wird empfohlen, die erste Methode zu verwenden. Andernfalls können Sie eine beliebige Installationsmethode auswählen.
$ git clone https://github.com/dataabc/weiboSpider.git
$ cd weiboSpider
$ pip install -r requirements.txt$ python3 -m pip install weibo-spiderWeitere Informationen zu den Programmeinstellungen finden Sie in der Dokumentation zu den Programmeinstellungen.
Benutzer, die den Quellcode installieren, können die folgenden Befehle im weiboSpider-Verzeichnis ausführen. Benutzer, die pip installieren, können die folgenden Befehle in jedem Verzeichnis mit Schreibberechtigung ausführen.
$ python3 -m weibo_spiderBei der ersten Ausführung wird die Konfigurationsdatei config.json automatisch im aktuellen Verzeichnis erstellt. Führen Sie nach der Konfiguration denselben Befehl aus, um Weibo zu erhalten.
Wenn Sie bereits über eine config.json-Datei verfügen, können Sie den config.json-Pfad auch über den Parameter config_path konfigurieren und das Programm ausführen. Die Befehlszeile lautet wie folgt:
$ python3 -m weibo_spider --config_path= " config.json "Wenn Sie den Speicherpfad der Datei (CSV, TXT, JSON, Bild, Video) angeben möchten, können Sie ihn über den Parameter „output_dir“ festlegen. Wenn Sie die Datei im Verzeichnis /home/weibo/ speichern möchten, können Sie den folgenden Befehl ausführen:
$ python3 -m weibo_spider --output_dir= " /home/weibo/ "Wenn Sie user_id über die Befehlszeile eingeben möchten, können Sie einen oder mehrere user_ids eingeben, die durch ein Komma getrennt sind. Wenn es unter diesen user_ids doppelte user_ids gibt, entfernt das Programm automatisch Duplikate. Die Befehlszeile lautet wie folgt:
$ python3 -m weibo_spider --u= " 1669879400,1223178222 "Das Programm ruft die Weibo-Benutzer ab, deren Benutzer-IDs 1669879400 und 1223178222 sind. Wir werden später erklären, wie man die Benutzer-ID erhält. Alle Benutzer-IDs in dieser Methode werden mithilfe von Since_date und End_date in config.json festgelegt, und der Crawling-Zeitbereich kann durch Ändern ihrer Werte gesteuert werden. Wenn die user_id_list in config.json ein Dateipfad ist, wird die user_id in jeder Befehlszeile automatisch in der Datei gespeichert und seit_date automatisch aktualisiert. Wenn es sich nicht um einen Pfad handelt, wird die user_id in user_id_list.txt im aktuellen Verzeichnis gespeichert und automatisch aktualisiert. Wenn user_id_list.txt nicht im aktuellen Verzeichnis vorhanden ist, erstellt das Programm es automatisch.
Dieser Abschnitt ist optional und kann ignoriert werden, wenn Sie das Programm nicht personalisieren oder keine neuen Funktionen hinzufügen müssen.
Der Hauptcode dieses Programms befindet sich in der Datei weibo_spider.py. Der Hauptteil des Programms ist eine Spider-Klasse. Alle oben genannten Funktionen werden durch Aufrufen der Spider-Klasse in der Hauptfunktion implementiert.
config = get_config ()
wb = Spider ( config )
wb . start () # 爬取微博信息Benutzer können die Spider-Klasse entsprechend ihren eigenen Anforderungen aufrufen oder ändern. Durch die Ausführung dieses Programms können wir viele Informationen erhalten.
wb.weibo : Mit Ausnahme der oben genannten Informationen enthält wb.weibo alle gecrawlten Weibo-Informationen, wie Weibo-ID , Weibo-Text , Originalbild-URL , Veröffentlichungsort , Veröffentlichungszeit , Veröffentlichungstool , Anzahl der Likes , Anzahl der Retweets , Anzahl Kommentare usw. Wenn Sie alle Weibos (Original + weitergeleitet) crawlen, enthält dies zusätzlich zu den oben genannten Informationen auch die Originalbild-URL des weitergeleiteten Weibo , ob es sich um ein Original-Weibo handelt usw. wb.weibo ist eine Liste mit allen gecrawlten Weibo-Informationen. wb.weibo[0] ist das erste gecrawlte Weibo, wb.weibo[1] ist das zweite gecrawlte Weibo und so weiter. Wenn filter=1, ist wb.weibo[0] das erste Original- Weibo, das gecrawlt wurde, und so weiter. wb.weibo[0]['id'] ist die ID des ersten Weibo, wb.weibo[0]['content'] ist der Text des ersten Weibo, wb.weibo[0]['publish_time' ] ist der Veröffentlichungszeitpunkt des ersten Weibo-Beitrags, und es gibt viele andere Informationen, auf die ich nicht näher eingehen werde. Sie können unten auf „Details“ klicken, um die spezifische Verwendung anzuzeigen.
Wenn der Ziel-Weibo-Benutzer auf Weibo existiert, dann:
Wenn Sie möchten, dass das Programm jedes Mal automatisch crawlt und es sich bei den gecrawlten Inhalten um neu hinzugefügte Inhalte handelt (ausgenommen Weibo, die bereits abgerufen wurden), aktivieren Sie bitte die Option „Weibo regelmäßig crawlen“.
Um zu erfahren, wie Sie Cookies erhalten, schauen Sie sich die Cookie-Dokumentation an.
Um zu erfahren, wie Sie die Benutzer-ID erhalten, sehen Sie sich bitte das Dokument „Benutzer-ID“ an, in dem beschrieben wird, wie Sie die Benutzer-ID eines oder mehrerer Weibo-Benutzer erhalten.
Wenn beim Ausführen des Programms ein Fehler auftritt, können Sie die FAQ-Seite anzeigen, die die häufigsten Probleme und Lösungen enthält. Wenn der aufgetretene Fehler nicht in den FAQ enthalten ist, können Sie um Hilfe bitten, indem Sie ein Problem senden. Wir werden es dann gerne für Sie beantworten.
Dieses Projekt erfasst Weibo-Daten, um die Daten bereitzustellen, die für nichtkommerzielle Projekte wie das Verfassen von Arbeiten und Recherchen benötigt werden. Bei wissenschaftlichen Forschungsdokumenten handelt es sich um Projekte, bei denen das Programm in Abschlussarbeiten oder Forschungsarbeiten usw. verwendet wurde und die mit Genehmigung des Eigentümers angezeigt werden. Wir haben mit dem Eigentümer über einige datenschutzrelevante Beschreibungen gesprochen und in der Beschreibung werden nur die Teile vorgestellt, deren Anzeige der Eigentümer zulässt. Wenn der Eigentümer einiger Informationen zuvor der Anzeige zugestimmt und sie in das Dokument geschrieben hat, sie jetzt aber nicht anzeigen möchte, können Sie mir dies per E-Mail ([email protected]) oder per E-Mail mitteilen, und ich werde die relevanten Informationen löschen Information. Gleichzeitig sind auch Freunde, die dieses Projekt zum Verfassen von Arbeiten oder anderen wissenschaftlichen Forschungsarbeiten nutzen, herzlich willkommen, ihre Forschungsergebnisse in wissenschaftlichen Forschungsdokumenten darzustellen. Dies ist völlig freiwillig.
Der Einfachheit halber werden die Bibtex-Einträge für dieses Projekt wie folgt bereitgestellt:
@misc{weibospider2020,
author = {Lei Chen, Zhengyang Song, schaepher, minami9, bluerthanever, MKSP2015, moqimoqidea, windlively, eggachecat, mtuwei, codermino, duangan1},
title = {{Weibo Spider}},
howpublished = {url{https://github.com/dataabc/weiboSpider}},
year = {2020}
}
Willkommen, um zu diesem Projekt beizutragen. Sie können einen Beitrag leisten, indem Sie Code einreichen, Vorschläge (z. B. neue Funktionen, Verbesserungspläne usw.) über Probleme machen oder uns über Fehler, Mängel usw. im Projekt informieren. Spezifische Möglichkeiten, einen Beitrag zu leisten, finden Sie unter „Mitwirken“. Projekt.
Vielen Dank an alle Freunde, die zu diesem Projekt beigetragen haben. Einzelheiten zu den Mitwirkenden finden Sie auf der Mitwirkendenseite.
