Chinese Chatbot PyTorch Implementation

? Xiaozhi, ein weiterer chinesischer Chatbot:yum:

?Unter Verwendung des interessanten chinesischen Korpus qingyun, eines chinesischen Chat-Roboters, geschrieben von @Doragd: Schneemann:

• Auch wenn sie nicht so perfekt ist :muscle:, nicht so toll :paw_prints:

• Aber sie wurde von mir selbst codiert:sparkling_heart:, also

• Ich hoffe, jeder kann diesem NLP-Anfänger und seinen Freunden mehr Sterne geben ?

?Hintergrund

Dieses Projekt ist eigentlich ein Untermodul des Software-Engineering-Kursdesigns. Unser Ziel ist die Entwicklung eines intelligenten Ticketverarbeitungssystems für den Kundenservice.

Der eigentliche Arbeitsablauf des intelligenten Kundendienst-Arbeitsauftragssystems ist: Wenn eine Person dem System eine Frage stellt, durchsucht das System zunächst die Wissensdatenbank, um zu sehen, ob es eine relevante Frage gibt. Wenn ja, gibt es die Antwort auf die Frage zurück. Wenn die Person zu diesem Zeitpunkt nicht zufrieden ist, kann sie direkt einen Arbeitsauftrag erteilen. Wenn er nicht in der Wissensdatenbank vorhanden ist, wird dieser Chatbot zur automatischen Antwort aufgerufen.

Das Service-Szenario dieses Systems ähnelt dem Kundenservice-System von Tencent Cloud. Kunden kommen hauptsächlich, um verwandte Themen zu konsultieren (Cloud-Server, Domänennamen usw.), daher ist die Wissensdatenbank auch eine Sammlung von Beratungen und Fehlerbehebungen (Fragen, Antworten). über Cloud-Server, Domänennamen usw. .

Die Front-End-Schnittstelle des Systems sowie die Front-End- und Back-End-Nachrichteninteraktion werden von einem anderen Klassenkameraden @adjlyadv vervollständigt, der hauptsächlich React + Django verwendet.

@Doragd ist für den Erwerb der Wissensdatenbank sowie das Schreiben, Trainieren und Testen des Chatbots verantwortlich. Auch der Inhalt dieses Repos dreht sich darum.

? Testeffekt

• Antworten Sie, ohne die Wissensdatenbank zu nutzen

• Nutzen Sie zur Beantwortung die Wissensdatenbank

• Gesamtsystemeffekt:

?Projektstruktur

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?Abhängige Bibliotheken

Abhängigkeiten installieren

$ pip install -r requirements.txt

?Fangen Sie an

Datenvorverarbeitung (kann entfallen)

$ python datapreprocess.py

Verarbeiten Sie den Korpus vor, um corpus.pth zu generieren ( corpus.pth wurde hier hochgeladen, daher kann dieser Schritt weggelassen werden )

Veränderbare Parameter:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

verwenden

• Nutzen Sie die Wissensdatenbank

Wenn Sie die Wissensdatenbank verwenden, müssen Sie den Parameter use_QA_first=True Zu diesem Zeitpunkt werden für die Eingabezeichenfolge zuerst die beste Frage und Antwort in der Wissensdatenbank abgeglichen und zurückgegeben. Wenn es nicht gefunden werden kann, wird der Chatbot aufgerufen, um automatisch eine Antwort zu generieren.

Die Wissensdatenbank hier ist eine Sammlung von 100 häufig gestellten Fragen und Antworten, zusammengestellt aus offiziellen Dokumenten von Tencent Cloud, nur zum Testen!

$ python main.py chat --use_QA_first=True

• Keine Wissensdatenbank verwenden

Aufgrund der Anforderungen des Kursdesigns wurden die Frage- und Antwortpaare von Tencent Cloud hinzugefügt. Dies ist jedoch für das Chat-Roboterprojekt irrelevant. Daher ist dieser Parameter bei allgemeiner Verwendung, use_QA_first=False , standardmäßig auf True gesetzt

$ python main.py chat --use_QA_first=False

• Verwenden Sie Standardparameter

$ python main.py chat

• Chat verlassen: Geben Sie exit , quit “ oder q ein

Weitere konfigurierbare Parameter

Erläutern Sie dies in der Datei config.py

Wenn Sie neue Parameter übergeben müssen, müssen Sie diese nur über die Befehlszeile im Format übergeben

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

Der obige Befehl gibt den Pfad zum Laden des trainierten Modells an und gibt an, ob die Wissensdatenbank verwendet werden soll

?Technische Umsetzung

Korpus

Korpusname	Anzahl Korpus	Erläuterung der Korpusquellen	Korpuseigenschaften	Korpusprobe	Ob es partizipiert wurde
qingyun (Qingyun-Korpus)	10W	Eine Chatbot-Kommunikationsgruppe	Relativ gut, lebensfreundlich	F: Es scheint, dass Sie Geld sehr lieben. A: Oh, wirklich? Dann haben Sie es fast geschafft	NEIN

• Quelle: https://github.com/codemayq/chinese_chatbot_corpus

Seq2Seq

• Encoder: Zweischichtiger bidirektionaler GRU
• Decoder: Doppelschichtiger unidirektionaler GRU

Aufmerksamkeit

• Globale Aufmerksamkeit, Verwendung von Punkten zur Berechnung von Punktzahlen
• Ref. https://arxiv.org/abs/1508.04025

?Modellschulung und -bewertung

$ python train_eval.py train [--options]

Der quantitative Bewertungsteil wurde noch nicht geschrieben. Er sollte anhand der Ratlosigkeit gemessen werden. Derzeit können nur Sätze generiert und die Qualität manuell bewertet werden.

$ python train_eval.py eval [--options]

?Aufzeichnung und Zusammenfassung des Boxenspringens

• Die tiefgreifendste Erfahrung ist, dass „zwischen dem Verständnis und dem Verständnis von Deep-Learning-Wissen eine Lücke bei N-Programmierimplementierungen besteht.“ Obwohl die Theorie für jeden sehr klar ist, wird es bei der Programmierimplementierung immer solche und solche Probleme geben: von der Verarbeitung von Datensätzen über die Programmierimplementierung vieler Formeln bis hin zur Parameteranpassung, GPU-Konfiguration und anderen Themen.
• Der eigentliche Prozess dieser Übung bestand darin, zuerst dem PyTorch-Tutorial zu folgen und den Chatbot-Teil durchzugehen. Nachdem ich ihn durchgearbeitet hatte, änderte ich den Korpus, verarbeitete ihn und überarbeitete dann den Code entsprechend dem Klassenstil Beim Debugging-Prozess bin ich auf viele Fallstricke gestoßen, insbesondere beim Verschieben von Tensoren auf die GPU. Wir stoßen auf verschiedene Probleme, hauptsächlich weil wir nicht genau wissen, was wann auf (das Gerät) verschoben wurde.
  • Durch Tests haben wir herausgefunden, dass model.to(device) nur die Parameter zur GPU verschiebt und nicht den in der Klasse definierten Mitgliedstensor verschiebt. Wenn Sie also einen neuen Tensor in der Forward-Methode definieren, denken Sie daran, ihn zu verschieben.
  • Außerdem stellt sich die Frage nach der Reihenfolge der Bewegung: Verschieben Sie zuerst das Modell auf die GPU und definieren Sie dann den Optimierer. Und die Verschiebungsmethode: model=model.to(device), vergessen Sie nicht, einen Wert zuzuweisen.
  • Es kann leicht passieren, dass der GPU der Speicher ausgeht, wenn Sie Code schreiben, und die Duplizierung von Tensoren minimieren.
  • Nach dem Ändern des chinesischen Korpus konnte das Training immer nicht konvergieren. Am Ende stellte ich fest, dass die Einstellung „batch_size“ zu klein war. Tatsächlich hatte ich das Gefühl, dass „batch_size“ so groß wie möglich sein sollte Tatsächlich habe ich das schon einmal gesehen, aber beim Schreiben des Codes habe ich es völlig vergessen. Es zeigt, dass ich damals noch nicht genug verstanden habe, als ich Mini-Batch sah. Ich muss immer noch Code schreiben, um tief in den Herzen der Menschen verwurzelt zu sein.
  • Ein weiteres Problem ist, dass ich Torch.long falsch verstanden habe und dachte, es sei ein hochpräzises Gleitkomma, aber es stellte sich heraus, dass es sich um einen int64-Typ handelte, der einen Fehler verursachte. Es dauerte lange, bis ich herausfand, was los war. Dies weist uns darauf hin, die Dokumentation sorgfältig zu lesen.
  • Der letzte Gewinn ist die Vertrautheit mit der tatsächlichen Implementierung eines Modells, was wichtig ist.
• Tatsächlich ist die Wirkung dieses Modells nicht sehr gut, abgesehen von den Problemen des Modells selbst. Ich habe jedoch festgestellt, dass die Qualität der Wortsegmentierung die Qualität des Satzes ernsthaft beeinträchtigt Bei der Wortsegmentierung würden einige seltsame Ergebnisse auftreten.
• Ein weiteres Problem besteht darin, dass es beim Umgang mit Sequenzen variabler Länge leicht zu Instabilität kommt, wenn die Verlustfunktion selbst definiert wird. Wir untersuchen noch die offizielle API.
• Während dieser Übung stellte ich auch fest, dass mein Verständnis einiger Parameter nicht tief genug war und ich nicht wusste, wie ich sie anpassen sollte, sodass ich die Theorie ergänzen musste.
• Die Evaluierung des Modells muss noch erfolgen.

Danksagungen

• Offizielles Chatbot-Tutorial
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• Stellen Sie einen chinesischen Korpus bereit
  • https://github.com/codemayq/chinese_chatbot_corpus
• Der Inhalt stimmt mit dem offiziellen Chatbot-Tutorial überein, enthält jedoch detaillierte Codekommentare
  • http://fancyerii.github.io/2019/02/14/chatbot/
• Bitte beachten Sie die Schreibmethode und die Schreibgewohnheiten des Modells.
  • https://github.com/chenyuntc/pytorch-book