UnilmChatchitRobot -Download - Download des UnilmChatchitRobot Quellcodes

UnilmChatchitRobot

AI-Quellcode

1.0.0

Herunterladen

Unilm für Chinese Chitchat Robot

Kuaqua-Chatroboterprojekt basierend auf dem Unilm-Modell

Projektbeschreibung

Bei diesem Projekt handelt es sich um ein Chat-Roboter-Projekt, das auf dem Unilm-Modell basiert.
Das aktuelle Open-Source-Modell dieses Projekts wird nur mit den Daten der Douban Kua Kua-Gruppe trainiert und wird daher als Kua Kua-Chat-Roboter bezeichnet. Interessierte Studierende können den Code dieses Projekts auch zum Trainieren anderer Dialogmaterialien verwenden.
Eine ausführliche Einführung finden Sie unter Zhihu: Unilm-Dialoggenerierung des Chatbots im Prahlerei-Stil.
Wenn der endgültige Dialog generiert wird, werden die generierten sensiblen Wörter gefiltert.

Dateistruktur

kuakua_robot_model Modellspeicherpfad (Modell-Download, siehe Daten und Modell)
unilm_model Vortrainings-Unilm-Modellpfad (Modell-Download, siehe Unilm-Vortrainingsmodell)
data_dir-Ordner zum Speichern von Daten
- dirty_words.txt Wörterbuch für sensible Wörter
- douban_kuakua_qa.txt Originalkorpus der Douban Kuakua-Gruppe
- Beispiel für den Trainingssatz „sample.json“. Die Originaldaten müssen in Beispielform verarbeitet werden (das Projekt stellt keinen Vorverarbeitungscode bereit).
Configuration_unilm.py Konfigurationsdatei des Unilm-Modells
modeling_unilm.py Unilm-Modelldatei
run_train.py Modelltrainingsdatei
Die Vorhersagedatei Interactive_conditional_samples.py generiert einen Dialog basierend auf dem trainierten Modell

Betriebsumgebung

Transformatoren == 3.0.2
Pytorch >= 1.4

Daten und Modelle

Der ursprüngliche Korpus stammt aus Daten der Douban Kuakua-Gruppe, siehe data/douban_kuakua_qa.txt.
Nach der Bereinigung wurden mehr als 60.000 Einzelrunden-Konversationsdaten abgerufen. Informationen zum Datenformat finden Sie unter data/sample.json.
Das trainierte Modell, Download-Adresse: Link, Bestätigungscode: e0au

Zug

 nohup python3 -u run_train.py --data_dir data/ 
                              --src_file kuakua_data.json 
                              --model_type unilm 
                              --model_name_or_path unilm_model/ 
                              --output_dir kuakua_robot_model/ 
                              --max_seq_length 128 
                              --max_position_embeddings 512 
                              --do_train 
                              --do_lower_case 
                              --train_batch_size 32 
                              --learning_rate 2e-5 
                              --logging_steps 100 
                              --num_train_epochs 10 > log.log 2>&1 &

Die Trainingsmaschine benötigte 2060 Sekunden, die Batchgröße betrug 32 und es wurden 10 Epochen trainiert. Der Verlust ist wie folgt: Avatar

Der Verlustkurve nach zu urteilen, ist das Modell tatsächlich nicht vollständig konvergiert und der Verlust ist immer noch stark zurückgegangen. Sie können weiter trainieren, und der Effekt sollte besser sein.

Prüfen

 python3 interactive_conditional_samples.py --device 0
                                           --topk 3
                                           --topp 0.95
                                           --dirty_path data/dirty_words.txt
                                           --model_name_or_path kuakua_robot_model/
                                           --repetition_penalty 1.2
                                           --max_len 32 
                                           --no_cuda False

Der Modellgenerierungseffekt kann durch Anpassen von topk, topp und repetition_penalty geändert werden.

Ergebnis

Probe1

 user:工作不开心
chatbot:你可以的！工作不开心也可以去吃火锅，看个影响自己心情的电视剧
user:工作不开心
chatbot:我也是，不过现在开始努力找工作啦！一起加油鸭～
user:工作不开心
chatbot:那就祝福你，能找到喜欢的工作吧。
user:工作不开心
chatbot:你也要加油鸭！
user:工作不开心
chatbot:我也是，不过总有一天就会好起来的

Probe2

 user:我分手了
chatbot:分手快乐，你会遇到更好的。
user:我分手了
chatbot:旧的不去新的不来，你会遇见更好的
user:我分手了
chatbot:分的好，下一个更乖
user:我分手了
chatbot:旧的不去新的不来
user:我分手了
chatbot:分手快乐，祝你快乐！
user:我分手了
chatbot:旧的不去新的不来，加油！

Probe3

 user:好像去吃火锅，但是我在减肥
chatbot:你好棒！一定会瘦下来的！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅是为了能更好的减肥，你真棒！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对胃好哦！我也在减肥，一起加油呀
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对减肥有什么效果？我也想去吃，但是现在没勇气去吃
user:好像去吃火锅，但是我在减肥
chatbot:你真的很棒，我也在减肥

unzureichend

Das größte Problem bei diesem Modell besteht darin, dass Kontextinformationen beim Training des Modells nicht berücksichtigt werden, d. h. das Training wird für eine einzelne Dialogrunde durchgeführt, sodass der Text möglicherweise nicht korrekt ist.

zukünftige Arbeit

Später können dem Projekt detaillierte Kommentare hinzugefügt und Datenvorverarbeitungscode hinzugefügt werden.
Später können große Datenmengen verwendet werden, um ein besseres Unilm-basiertes Chat-Dialogmodell zu trainieren.
Später können Sie den Kontext berücksichtigen und ein Modell trainieren, das mehrere Dialogrunden unterstützt.

beziehen sich auf

Unilm

Zitieren

 @misc{UnilmChatchitRobot,
  author = {Cong Liu},
  title = {Unilm for Chinese Chitchat Robot},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  url="https://github.com/liucongg/UnilmChatchitRobot",
}