weibo_terminater Download - weibo_terminater Quellcode herunterladen

weibo_terminater

AI-Quellcode

1.0.0

Herunterladen

Weibo-Terminator

Wir möchten Sie daran erinnern, dass dieses Projekt nur für die akademische Forschung verwendet wird. Der Autor übernimmt keine Verantwortung für eine Reihe von Konsequenzen, die sich aus der Verwendung für andere Zwecke ergeben. Aus Verantwortungs- und Glaubensgründen möchte ich dieses Projekt erneut aktualisieren.

Einige Hilfsbibliotheken für die Protokollierung hinzugefügt, um Informationen besser anzuzeigen. Die Protokollbibliothek stammt von Alfred: http://github.com/jinfagang/alfred;
Der Treiber von PhantomJS wurde aufgegeben und FireFox wird standardmäßig als Proxy verwendet. Daher müssen Sie möglicherweise das Selenium-Plugin namens Geckodriver installieren. Installieren Sie es einfach in /usr/bin über Google.
Einige unnötige Dateien wurden entfernt.

Es scheint, dass die vorherigen Bildlinks nicht mehr verfügbar sind und direkt gelöscht werden sollten. Ich kann nur sagen, dass inländische Cloud-Server-Anbieter zu schummeln und geizig sind. Es kann auch sein, dass die allgemeine Umgebung dies tut nicht gut und alle, die bankrott gehen sollten, sind bankrott gegangen.

Tatsächlich hörte der Autor zwei Jahre später auf, sich mit NLP zu beschäftigen. Nach meinem Abschluss beschäftigte ich mich mit verwandten Arbeiten im Bereich des autonomen Fahrens, aber ich habe die NLP-Arbeit nie aufgegeben Aufgrund meines Interesses an NLP stelle ich Ihnen einige interessante Informationen zur Verfügung:

Der größte Markt für KI-Algorithmen in China: http://manaai.cn
Einige Kommunikationsforen zum Frage- und Antwortsystem: http://t.manaai.cn

Dieses Projekt wird weiterhin aktualisiert und gepflegt. Vielen Dank für Ihre Aufmerksamkeit.

verspätetes Update

Mehr als zwanzig Tage sind vergangen, seit dieses Projekt ins Leben gerufen wurde. Fünfhundert Jahre später muss es endlich losgehen! ! Dieses Projekt wird auf dem neuesten Stand gehalten. Um Beiträge zu erleichtern, habe ich ein Projekt neu gestartet: https://github.com/jinfagang/weibo_terminator_workflow.git. Wenn Sie gemeinsam zum Crawling-Korpus beitragen möchten, können Sie das Workflow-Projekt starten Wenn Sie gleichzeitig mit dem Weibo-Crawler spielen möchten, können Sie dieses Projekt weiterhin verfolgen.

19.04.2017 Großes Update! ! ! Starten Sie den Weibo-Terminator-Plan (WT-Plan)

weibo_terminator Der Weibo-Terminator-Crawler ist im Grunde fertig:

Dieses Mal haben wir die folgenden Funktionen aktualisiert:

Es wurde eine Verzögerungsstrategie hinzugefügt, die jedes Mal 10 Seiten crawlt und fünf Minuten pausiert. Dies kann immer noch nicht zu 100 % garantieren, dass das Konto nicht gesperrt wird, aber wir haben immer noch Strategien! !
Jetzt verwenden wir mehr als ein Dutzend Konten, um gleichzeitig mit dem Crawlen zu beginnen. weibo_scraper wechselt automatisch zum nächsten Konto, nachdem ein Konto gesperrt wurde! !
Es müssen keine Cookies gesetzt werden! ! ! Wichtige Dinge müssen nicht mehr manuell gesetzt werden. Wir müssen nur das entsprechende Konto in „accounts.py“ festlegen. Sie können die Cookies auch später festlegen und aktualisieren Cookie-Cache und aktualisieren Sie sie manuell;

Wenn du denkst, dass das alles ist, was du hast, wirst du ruiniert sein. Nimm die Kleidung von Sanmu Tanmuzi. Die wichtigeren Updates sind:

Die IDs einiger Prominenter sind nicht auf numerische IDs beschränkt. Die Standard-ID, die wir dieses Mal aktualisiert haben, ist realangelababy Weibo.
Der Autor hat das Skript zum Extrahieren von Chat-Paaren aus dem Konversationsformat von Weibo-Inhalten perfektioniert, und die Genauigkeit der Konversation liegt bei etwa 99 % (berücksichtigen Sie Urheberrechtsprobleme, wir werden es später als Open Source veröffentlichen);
Der Autor hat eine Liste mit fast 8 Millionen Benutzer -IDs eingereicht, die in Kategorien unterteilt sind, und das gesamte Netzwerk wurde gecrawlt (Beachten Sie die offiziellen Weibo-Einschränkungen, wir können nicht alle Listen verteilen, nur als Beispiel, treten Sie unserem Mitwirkenden-Team bei, wir geben jedem Mitwirkenden eine einzelne und eindeutiger Teil von id_file .);
Der Autor hat eine Breakpoint-Resume- Funktion hinzugefügt. In diesem Update merkt sich unser Crawler, wo er das letzte Mal gecrawlt hat. Beim zweiten Mal crawlt er direkt von der Stelle, an der er das gesamte Weibo gecrawlt hat, also wenn Sie Ihre Cookies sperren , wechseln Sie einfach zu einem kleineren Konto und steigen Sie weiter;
Alle Arbeiten werden innerhalb eines halben Monats abgeschlossen sein. Der erstellte Korpus steht nur Mitwirkenden zur Verfügung.

Um auf dem riesigen Weibo-Netzwerk zu basieren, haben wir das Terminator-Projekt gestartet und gemeinsam den Korpus des chinesischen Weibo-Projekts gecrawlt. Dieses aktualisierte Repo enthält eine weibo_id.list Datei, die die IDs von fast 8 Millionen Benutzern enthält, die in Kategorien eingeteilt sind. Fragen Sie mich nicht, wie es dazu kam. Als nächstes weisen wir jedem Mitwirkenden eine ID eines bestimmten Bereichs zu, crawlen alle Weibo-Daten und laden die Ergebnisse dann auf unsere interne Baidu-Cloud-Festplatte hoch erhalten werden. Die abschließende Aussage lautet wie folgt: Dieses Projekt bezieht sich auf einige ähnliche Projekte, die von diesem Projekt implementierten Funktionen und die Komplexität der betrachteten Probleme sind jedoch nicht mit denen der oben genannten Projekte vergleichbar. und viele andere Projekte basieren auf Scrapy. Dieses Projekt verwendet überhaupt keine ähnlichen Crawler-Bibliotheken. Aus keinem anderen Grund mangelt es Projekten, die mit diesen Bibliotheken erstellt wurden, was uns nicht besonders gefällt. Ich hoffe, jeder versteht es.

Schließlich ist jeder weiterhin willkommen, Probleme einzureichen. Wir werden die Quelle immer öffnen und sie pflegen und aktualisieren! !

Beitragstipps:

Klonen Sie dieses Repo: git clone https://github.com/jinfagang/weibo_terminater.git ;
Installieren Sie PhantomJS, um das automatische Abrufen von Cookies durch weibo_terminator zu aktivieren. Laden Sie es hier herunter und legen Sie Ihren Entpackpfad auf settings/config.py fest. Befolgen Sie die dortigen Anweisungen.
Richten Sie Ihr Multi-Konto in settings/accounts.py ein. Sie können jetzt Multi-Konten verwenden. Terminator sendet sie automatisch.
Führen Sie python3 main.py -i realangelababy aus, löschen Sie einen einzelnen Benutzer und legen Sie settings/id_file für den Mehrbenutzer-Ausschuss fest.
Kontaktieren Sie den Projektadministrator über wechat jintianiloveu . Wenn Sie einen Beitrag leisten möchten, wird Ihnen der Administrator eine ID-Datei aushändigen, die in unserem Projekt einzigartig ist.
Alle Daten werden in ./weibo_detail mit unterschiedlichen IDs separat gespeichert.
Sammeln Sie Daten an den Projektadministrator.
Wenn die gesamte Arbeit abgeschlossen ist, verteilt der Administrator alle Daten als eine einzige Datei an alle Mitwirkenden und verwendet sie unter WT & TIANEYE COPYRIGHT .

Forschungs- und Diskussionsgruppe

Wir fördern mehrere Gruppen für unser Projekt:

 QQ
AI智能自然语言处理: 476464663
Tensorflow智能聊天Bot: 621970965
GitHub深度学习开源交流: 263018023

Wechat
add administrator `jintianiloveu` to be added in.

Anleitung

Dies ist der fehlende Teil des ersten Commits. Verwenden Sie die Hilfe:

 # -h see helps
python3 main.py -h

# -i specific an single id or id_file path(with every id as a line.)
python3 main.py -i 167385960
python3 main.py -i ./id_file

# -f specific filter mode, if 0, all weibo are all original, if 1, contains repost one, default is 0
python3 main.py -i 16758795 -f 0

# -d specific debug mode for testing, be aware debug mode only support one single id.
python3 main.py -i 178600077 -d 1

Das ist alles, einfach und leicht.

Über Cookies

Die Cookies sind möglicherweise immer noch verboten. Wenn unser Scraper weiterhin Informationen von Weibo erhält, müssen wir diese Aufgabe genau unter der Leitung der Menschen erledigen. Niemand kann unter einer einzigen Macht ein so großes Korpora aufbauen, wenn Ihre Cookies veraltet sind oder veraltet sind gesperrt, wir empfehlen dringend, ein anderes Weibo-Konto zu verwenden, das Ihre Freunde oder jemand anderes sein kann, und mit dem Schrott fortzufahren. Sie müssen daran denken, dass sich unser weibo_terminator den Schrott-Fortschritt merken kann und dort weiterschrottet, wo er das letzte Mal aufgehört hat :)

Weibo-Terminator-Crawler

Was das Chat-Dialogsystem betrifft, werde ich später ein Projekt öffnen, das auf Weibo basiert. Dieses Projekt wird weiterentwickelt. ! Immer Open Source!

Dieses Projekt widmet sich der Bekämpfung des Anti-Crawler-Mechanismus von Weibo, der Bündelung aller Kräfte zum Crawlen Tausender Weibo-Kommentarkorpuss und der Erstellung eines hochwertigen Open-Source-Dialogkorpus für China, um die Forschung und Entwicklung chinesischer Dialogsysteme zu fördern. Dieses System hat nun Folgendes implementiert:

Crawlen der Anzahl der Weibo-Beiträge, der Anzahl der Follower, der Anzahl der Fans, aller Weibo-Inhalte und aller entsprechenden Kommentare auf Weibo des angegebenen ID-Benutzers;
Der Autor prüft die Machbarkeit der Erstellung eines Dialogsystems und die Schwierigkeit der Verarbeitung des Weibo-Korpus. Während des Crawling-Vorgangs werden alle Weibos in extrahierbarer Form gespeichert.
Dieses Projekt verlässt sich nicht auf ein Crawling-Framework eines Drittanbieters, sondern implementiert manuell eine Multithread-Bibliothek. Beim Crawlen mehrerer Benutzer werden Hunderte von Threads gestartet, und die Crawling-Geschwindigkeit liegt bei mehreren Millionen pro Stunde.
Das ultimative Ziel dieses Projekts besteht darin, die riesige Weibo-Plattform voll auszunutzen, um ein Open-Source- und hochwertiges chinesisches Dialogsystem aufzubauen (soweit dem Autor bekannt ist, behandeln viele Unternehmen ihre eigenen Daten als Schätze und verachten sie).
Darüber hinaus kann dieses Projekt auch zur Analyse der Kommentare bestimmter Benutzer verwendet werden. Durch das Crawlen von Luo Yonghaos Weibo können beispielsweise seine Verkäufe von Smartisan-Mobiltelefonen im zweiten Jahr analysiert werden (großartig).

Ich hoffe, dass noch mehr Kinderschuhe dazu beitragen können. Es gibt noch viel zu tun!

Geboren für künstliche Intelligenz

Chinesische Korpora wurden schon immer kritisiert, und es gibt keine Institutionen oder Organisationen, die öffentliche Datensätze erstellen. Im Ausland gibt es dagegen recht viele englische Korpora, die sehr genau erstellt wurden.

Der Autor des Weibo-Korpus glaubt, dass es das umfassendste, aktivste und aktuellste Korpus ist. Beim Aufbau eines Dialogsystems spielt es keine Rolle, ob das Modell korrekt ist, aber es gibt definitiv ein frisches Vokabular.

Crawl-Ergebnisse

Die Weibo- und Kommentarformate des designierten Benutzers sind wie folgt:

 E
4月15日#傲娇与偏见# 超前点映，跟我一起去抢光它 [太开心]  傲娇与偏见 8.8元超前点映  顺便预告一下，本周四（13号）下
午我会微博直播送福利，不见不散哦[坏笑]   电影傲娇与偏见的秒拍视频 <200b><200b><200b>
E
F
<哈哈哈哈哈哈狗->: 还唱吗[doge]
<緑麓>: 绿麓！
<哈哈哈哈哈哈狗->: [doge][doge]
<至诚dliraba>: 哈哈哈哈哈哈哈
<五只热巴肩上扛>: 大哥已经唱完了[哆啦A梦吃惊]
<哈哈哈哈哈哈狗->: 大哥[哆啦A梦吃惊]
<独爱Dear>: 10:49坐等我迪的直播[喵喵][喵喵][喵喵]
<四只热巴肩上扛>: 对不起[可怜]我不赶
<四只热巴肩上扛>: 哈狗[哆啦A梦花心][哆啦A梦花心]
<至诚dliraba>: 哈狗来了 哈哈哈
<四只热巴肩上扛>: [摊手]绿林鹿去哪里了！！！！
<哈哈哈哈哈哈狗->: 阿健[哆啦A梦花心]
<至诚dliraba>: 然而你还要赶我出去[喵喵]
<四只热巴肩上扛>: 我也很绝望
<至诚dliraba>: 只剩翻墙而来的我了
<四只热巴肩上扛>: [摊手]我能怎么办
<四只热巴肩上扛>: [摊手]一首歌唱到一半被掐断是一个歌手的耻辱[摊手]
<至诚dliraba>: 下一首
<四只热巴肩上扛>: 最害怕就是黑屋[摊手]
<至诚dliraba>: 我脑海一直是 跨过傲娇与偏见 永恒的信念
F

veranschaulichen:

EE stellt den Anfang und das Ende von Weibo-Inhalten dar
FF steht für den Anfang und das Ende aller Kommentare
<> in jedem Kommentar ist die ID des Benutzers, der den Kommentar initiiert hat, und $$ ist die ID des at-Benutzers.

Zukünftige Arbeit

Bei dem jetzt gecrawlten Korpus handelt es sich um die Originalversion. Hier erfahren Sie, wie Sie den Korpus verwenden können, um Themenkommentarroboter zu erstellen. Der Autor wird jedoch weiterhin Nachbearbeitungsprogramme entwickeln, um Weibo-Rohdaten in Konversationsdaten umzuwandeln Form und Open Source. Selbstverständlich können interessierte Kinderschuhe auch gerne eine PR bei mir einreichen und die beste Lösung auswählen, um den Fortschritt dieses Projekts voranzutreiben.