Téléchargement UnilmChatchitRobot - Téléchargement du code source UnilmChatchitRobot

UnilmChatchitRobot

Code Source AI

1.0.0

Télécharger

Unilm pour le robot de bavardage chinois

Projet de robot de discussion Kuaqua basé sur le modèle Unilm

Descriptif du projet

Ce projet est un projet de robot de chat basé sur le modèle Unilm.
Le modèle open source actuel de ce projet est formé uniquement à l'aide des données du groupe Douban Kua Kua, il s'appelle donc un robot de discussion Kua Kua. Les étudiants intéressés peuvent également utiliser le code de ce projet pour former d'autres supports de dialogue.
Pour une introduction détaillée, voir Zhihu : Génération de dialogue Unilm du chatbot de style vantard.
Lorsque le dialogue final est généré, les mots sensibles générés sont filtrés.

Structure du fichier

Chemin d'enregistrement du modèle kuakua_robot_model (téléchargement du modèle, voir données et modèle)
chemin du modèle unilm de pré-formation unilm_model (téléchargement du modèle, voir modèle de pré-formation Unilm)
dossier data_dir pour stocker les données
- dirty_words.txt Dictionnaire de mots sensibles
- douban_kuakua_qa.txt corpus original du groupe Douban Kuakua
- Exemple d'ensemble de formation sample.json, les données originales doivent être traitées sous forme d'exemple (le projet ne fournit pas de code de prétraitement)
fichier de configuration configuration_unilm.py du modèle unilm
modeling_unilm.py fichier de modèle unilm
fichier de formation du modèle run_train.py
Le fichier de prédiction interactive_conditional_samples.py, basé sur le modèle entraîné, génère un dialogue

Environnement opérationnel

transformateurs == 3.0.2
pytorche >= 1.4

Données et modèles

Le corpus original provient des données du groupe Douban Kuakua, voir data/douban_kuakua_qa.txt.
Après le nettoyage, plus de 60 000 données de conversation en un seul cycle ont été obtenues. Pour le format des données, voir data/sample.json.
Le modèle formé, adresse de téléchargement : lien, code de vérification : e0au

Former

 nohup python3 -u run_train.py --data_dir data/ 
                              --src_file kuakua_data.json 
                              --model_type unilm 
                              --model_name_or_path unilm_model/ 
                              --output_dir kuakua_robot_model/ 
                              --max_seq_length 128 
                              --max_position_embeddings 512 
                              --do_train 
                              --do_lower_case 
                              --train_batch_size 32 
                              --learning_rate 2e-5 
                              --logging_steps 100 
                              --num_train_epochs 10 > log.log 2>&1 &

La machine de formation a duré 2060, batch_size était de 32 et 10 époques ont été formées. La perte est la suivante : avatar

À en juger par la courbe de perte, en fait, le modèle n'a pas complètement convergé et la perte connaît toujours une forte baisse. Vous pouvez continuer à vous entraîner et l'effet devrait être meilleur.

Test

 python3 interactive_conditional_samples.py --device 0
                                           --topk 3
                                           --topp 0.95
                                           --dirty_path data/dirty_words.txt
                                           --model_name_or_path kuakua_robot_model/
                                           --repetition_penalty 1.2
                                           --max_len 32 
                                           --no_cuda False

L'effet de génération de modèle peut être modifié en ajustant topk, topp et repetition_penalty.

Résultat

échantillon1

 user:工作不开心
chatbot:你可以的！工作不开心也可以去吃火锅，看个影响自己心情的电视剧
user:工作不开心
chatbot:我也是，不过现在开始努力找工作啦！一起加油鸭～
user:工作不开心
chatbot:那就祝福你，能找到喜欢的工作吧。
user:工作不开心
chatbot:你也要加油鸭！
user:工作不开心
chatbot:我也是，不过总有一天就会好起来的

échantillon2

 user:我分手了
chatbot:分手快乐，你会遇到更好的。
user:我分手了
chatbot:旧的不去新的不来，你会遇见更好的
user:我分手了
chatbot:分的好，下一个更乖
user:我分手了
chatbot:旧的不去新的不来
user:我分手了
chatbot:分手快乐，祝你快乐！
user:我分手了
chatbot:旧的不去新的不来，加油！

échantillon3

 user:好像去吃火锅，但是我在减肥
chatbot:你好棒！一定会瘦下来的！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅是为了能更好的减肥，你真棒！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对胃好哦！我也在减肥，一起加油呀
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对减肥有什么效果？我也想去吃，但是现在没勇气去吃
user:好像去吃火锅，但是我在减肥
chatbot:你真的很棒，我也在减肥

insuffisant

Le plus gros problème de ce modèle est que les informations contextuelles ne sont pas prises en compte lors de la formation du modèle, c'est-à-dire que la formation est effectuée pour un seul cycle de dialogue, de sorte que le texte peut ne pas être correct.

travaux futurs

Ultérieurement, des commentaires détaillés pourront être ajoutés au projet et du code de prétraitement des données pourra être ajouté.
Plus tard, de gros lots de données pourront être utilisés pour former un meilleur modèle de dialogue de chat basé sur un film.
Plus tard, vous pourrez considérer le contexte et former un modèle qui prend en charge plusieurs cycles de dialogue.

se référer à

Unilm

Citer

 @misc{UnilmChatchitRobot,
  author = {Cong Liu},
  title = {Unilm for Chinese Chitchat Robot},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  url="https://github.com/liucongg/UnilmChatchitRobot",
}