Chinese Chatbot PyTorch Implementation

? Xiaozhi, un autre chatbot chinois :miam:

? En utilisant l'intéressant corpus chinois qingyun, un robot de discussion chinois écrit par @Doragd : bonhomme de neige :

• Même si elle n'est pas si parfaite :muscle:, pas si géniale :paw_prints:

• Mais elle a été codée par moi-même :sparkling_heart:, donc

• J'espère que tout le monde pourra donner plus d'étoiles pour soutenir ce débutant en PNL et ses amis ?

?arrière-plan

Ce projet est en fait un sous-module de la conception du cours de génie logiciel. Notre objectif est de développer un système intelligent de traitement des tickets de service client.

Le flux de travail réel du système intelligent de bons de travail du service client est le suivant : lorsqu'une personne pose une question au système, le système recherche d'abord dans la base de connaissances pour voir s'il y a une question pertinente. Si tel est le cas, il renvoie la réponse à la question. Si la personne n'est pas satisfaite à ce moment-là, elle peut directement soumettre un bon de travail. S'il n'existe pas dans la base de connaissances, ce chatbot est appelé en réponse automatique.

Le scénario de service de ce système est similaire au système de service client de Tencent Cloud. Les clients viennent principalement consulter des problèmes connexes (serveurs cloud, noms de domaine, etc.), la base de connaissances est donc également un ensemble de consultations et de dépannage (questions, réponses). sur les serveurs cloud, les noms de domaine, etc.

L'interface frontale du système et l'interaction des messages front-end et back-end sont complétées par un autre camarade de classe @adjlyadv, utilisant principalement React+Django.

@Doragd est responsable de l'acquisition de la base de connaissances ainsi que de la rédaction, de la formation et des tests du chatbot. Le contenu de ce dépôt concerne également cela.

?Tester l'effet

• Répondre sans utiliser la base de connaissances

• Utilisez la base de connaissances pour répondre

• Effet global du système :

?Structure du projet

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?Bibliothèques dépendantes

Installer les dépendances

$ pip install -r requirements.txt

?Commencer

Prétraitement des données (peut être omis)

$ python datapreprocess.py

Prétraitez le corpus pour générer corpus.pth ( corpus.pth a été téléchargé ici, cette étape peut donc être omise )

Paramètres modifiables :

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

utiliser

• Utiliser la base de connaissances

Lorsque vous utilisez la base de connaissances, vous devez transmettre le paramètre use_QA_first=True À ce stade, pour la chaîne d'entrée, la meilleure question et la meilleure réponse sont d'abord mises en correspondance dans la base de connaissances et renvoyées. Lorsqu'il est introuvable, le chatbot est appelé pour générer automatiquement une réponse.

La base de connaissances ici est une collection de 100 questions et réponses fréquemment posées compilées à partir des documents officiels de Tencent Cloud, à des fins de test uniquement !

$ python main.py chat --use_QA_first=True

• Ne pas utiliser de base de connaissances

En raison des besoins de conception du cours, les paires de questions et réponses de Tencent Cloud ont été ajoutées, mais cela n'a aucun rapport avec le projet de robot de chat, donc lorsqu'il est utilisé de manière générale, use_QA_first=False , ce paramètre est par défaut True

$ python main.py chat --use_QA_first=False

• Utiliser les paramètres par défaut

$ python main.py chat

• Quitter le chat : saisissez exit , quit ou q .

Autres paramètres configurables

Expliquez dans le fichier config.py

Lorsque vous devez transmettre de nouveaux paramètres, il vous suffit de les transmettre depuis la ligne de commande, sous la forme de

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

La commande ci-dessus indique le chemin pour charger le modèle entraîné et s'il faut utiliser la base de connaissances

?Mise en œuvre technique

corpus

Nom du corpus	Nombre de corpus	Explication des sources du corpus	Caractéristiques du corpus	Échantillon de corpus	Qu'il ait été participe
qingyun (Corpus Qingyun)	10W	Un groupe de communication chatbot	Relativement bon, convivial	Q : Il semble que vous aimez beaucoup l’argent. A : Oh, vraiment ? Alors tu y es presque	Non

• Source : https://github.com/codemayq/chinese_chatbot_corpus

Séq2Séq

• Encodeur : GRU bidirectionnel à deux couches
• Décodeur : GRU unidirectionnel double couche

Attention

• Attention globale, utilisation du point pour calculer les scores
• Réf. https://arxiv.org/abs/1508.04025

?Formation et évaluation des modèles

$ python train_eval.py train [--options]

La partie évaluation quantitative n'a pas encore été écrite. Elle devrait être mesurée par perplexité. Actuellement, elle ne peut générer que des phrases et évaluer manuellement la qualité.

$ python train_eval.py eval [--options]

?Record et résumé du pit jump

• L'expérience la plus profonde est qu'« il existe un écart dans la mise en œuvre de la programmation N entre la compréhension et la compréhension des connaissances d'apprentissage profond ». Bien que la théorie soit très claire pour tout le monde, lorsqu'il s'agit d'implémentation de programmation, il y aura toujours tels ou tels problèmes : du traitement des ensembles de données, à l'implémentation de programmation de nombreuses formules, en passant par le réglage des paramètres, la configuration du GPU et d'autres problèmes.
• Le processus réel de cette pratique consistait à suivre le didacticiel PyTorch et à parcourir d'abord la partie Chatbot, après l'avoir parcouru, j'ai modifié le corpus, traité le corpus, puis refactorisé le code en fonction du style de classe. processus de débogage, et j'ai rencontré de nombreux pièges, notamment lors du déplacement des tenseurs vers le GPU, nous rencontrons divers problèmes, principalement parce que nous ne savons pas exactement ce qui a été déplacé et quand (appareil).
  • Grâce aux tests, nous avons constaté que model.to(device) déplacera uniquement les paramètres vers le GPU et ne déplacera pas le tenseur de membre défini dans la classe, donc si vous définissez un nouveau tenseur dans la méthode forward, n'oubliez pas de le déplacer.
  • Il y a aussi la question de l'ordre de déplacement : déplacer d'abord le modèle vers le GPU, puis définir l'optimiseur. Et la méthode de déplacement : model=model.to(device), n'oubliez pas d'attribuer une valeur.
  • Il est facile pour le GPU de manquer de mémoire. Faites attention à l'utilisation de la mémoire lors de l'écriture du code et minimisez la duplication des tenseurs.
  • Après avoir changé le corpus chinois au début, la formation n'a toujours pas réussi à converger. Au final, j'ai découvert que le paramètre batch_size était trop petit. En fait, j'ai estimé que le batch_size devrait être le plus grand possible lorsque la mémoire vidéo est grande. suffisant. En fait, j'ai déjà vu cela, mais je l'ai complètement oublié lors de l'écriture du code. Cela montre que je n'ai pas assez compris quand j'ai vu le mini-batch à l'époque. Je dois encore écrire du code pour pouvoir être profondément ancré dans le cœur des gens.
  • Un autre problème est que j'ai mal compris torch.long, pensant que c'était une virgule flottante de haute précision, mais il s'est avéré qu'il s'agissait d'un type int64, ce qui a provoqué un bug. Il m'a fallu beaucoup de temps pour comprendre ce qui se passait. Cela nous dit de lire attentivement la documentation.
  • Le gain final est la connaissance de la manière de mettre en œuvre réellement un modèle, ce qui est important.
• En fait, l'effet de ce modèle n'est pas très bon. Outre les problèmes du modèle lui-même, j'ai constaté que la qualité de la segmentation des mots affecterait sérieusement la qualité de la phrase. Cependant, je n'ai même pas défini de mots vides. segmentation des mots, des résultats étranges se produiraient.
• Un autre problème est que lorsqu'il s'agit de séquences de longueur variable, si la fonction de perte est définie par vous-même, il est facile de devenir instable. Nous étudions toujours l'API officielle.
• Au cours de cette pratique, j'ai également constaté que ma compréhension de certains paramètres n'était pas assez approfondie, et que je ne savais pas comment les ajuster, j'ai donc dû compléter la théorie.
• L'évaluation du modèle doit encore être effectuée.

Remerciements

• Tutoriel officiel du chatbot
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• Fournir un corpus chinois
  • https://github.com/codemayq/chinese_chatbot_corpus
• Le contenu est conforme au didacticiel officiel Chatbot, mais avec des commentaires de code détaillés
  • http://fancyerii.github.io/2019/02/14/chatbot/
• Veuillez vous référer à la méthode d'écriture et aux habitudes du modèle.
  • https://github.com/chenyuntc/pytorch-book