Descarga de UnilmChatchitRobot - Descarga de código fuente UnilmChatchitRobot

UnilmChatchitRobot

Código Fuente de IA

1.0.0

Descargar

Unilm para el robot chino Chitchat

Proyecto de robot de chat Kuaqua basado en el modelo Unilm

Descripción del proyecto

Este proyecto es un proyecto de robot de chat basado en el modelo Unilm.
El modelo actual de código abierto de este proyecto solo se entrena utilizando datos del grupo Douban Kua Kua, por lo que se llama chatbot Kua Kua. Los estudiantes interesados también pueden utilizar el código de este proyecto para entrenar otros materiales de diálogo.
Para obtener una introducción detallada, consulte Zhihu: generación de diálogos Unilm del chatbot estilo jactancia.
Cuando se genera el diálogo final, las palabras sensibles generadas se filtran.

Estructura de archivos

Ruta para guardar el modelo kuakua_robot_model (descarga del modelo, ver datos y modelo)
unilm_model ruta del modelo unilm de preentrenamiento (descarga del modelo, consulte el modelo de preentrenamiento de Unilm)
carpeta data_dir para almacenar datos
- dirty_words.txt Diccionario de palabras sensibles
- douban_kuakua_qa.txt corpus original del grupo Douban Kuakua
- Muestra del conjunto de entrenamiento sample.json, los datos originales deben procesarse en un formulario de muestra (el proyecto no proporciona código de preprocesamiento)
archivo de configuración Configuration_unilm.py del modelo Unilm
modeling_unilm.py archivo de modelo unilm
archivo de entrenamiento del modelo run_train.py
archivo de predicción Interactive_conditional_samples.py, basado en el modelo entrenado, genera diálogo

Entorno operativo

transformadores == 3.0.2
pytorch >= 1.4

Datos y modelos

El corpus original proviene de datos del grupo Douban Kuakua, consulte data/douban_kuakua_qa.txt.
Después de la limpieza, se obtuvieron más de 60.000 datos de conversaciones de una sola ronda. Para conocer el formato de los datos, consulte data/sample.json.
El modelo entrenado, dirección de descarga: enlace, código de verificación: e0au

Tren

 nohup python3 -u run_train.py --data_dir data/ 
                              --src_file kuakua_data.json 
                              --model_type unilm 
                              --model_name_or_path unilm_model/ 
                              --output_dir kuakua_robot_model/ 
                              --max_seq_length 128 
                              --max_position_embeddings 512 
                              --do_train 
                              --do_lower_case 
                              --train_batch_size 32 
                              --learning_rate 2e-5 
                              --logging_steps 100 
                              --num_train_epochs 10 > log.log 2>&1 &

La máquina de entrenamiento tomó 2060, el tamaño del lote fue 32 y se entrenaron 10 épocas. La pérdida es la siguiente: avatar

A juzgar por la curva de pérdidas, de hecho, el modelo no ha convergido completamente y la pérdida aún tiene una gran disminución. Puede continuar entrenando y el efecto debería ser mejor.

Prueba

 python3 interactive_conditional_samples.py --device 0
                                           --topk 3
                                           --topp 0.95
                                           --dirty_path data/dirty_words.txt
                                           --model_name_or_path kuakua_robot_model/
                                           --repetition_penalty 1.2
                                           --max_len 32 
                                           --no_cuda False

El efecto de generación del modelo se puede modificar ajustando topk, topp y repetition_penalty.

Resultado

muestra1

 user:工作不开心
chatbot:你可以的！工作不开心也可以去吃火锅，看个影响自己心情的电视剧
user:工作不开心
chatbot:我也是，不过现在开始努力找工作啦！一起加油鸭～
user:工作不开心
chatbot:那就祝福你，能找到喜欢的工作吧。
user:工作不开心
chatbot:你也要加油鸭！
user:工作不开心
chatbot:我也是，不过总有一天就会好起来的

muestra2

 user:我分手了
chatbot:分手快乐，你会遇到更好的。
user:我分手了
chatbot:旧的不去新的不来，你会遇见更好的
user:我分手了
chatbot:分的好，下一个更乖
user:我分手了
chatbot:旧的不去新的不来
user:我分手了
chatbot:分手快乐，祝你快乐！
user:我分手了
chatbot:旧的不去新的不来，加油！

muestra3

 user:好像去吃火锅，但是我在减肥
chatbot:你好棒！一定会瘦下来的！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅是为了能更好的减肥，你真棒！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对胃好哦！我也在减肥，一起加油呀
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对减肥有什么效果？我也想去吃，但是现在没勇气去吃
user:好像去吃火锅，但是我在减肥
chatbot:你真的很棒，我也在减肥

insuficiente

El mayor problema de este modelo es que la información contextual no se considera al entrenar el modelo, es decir, el entrenamiento se realiza para una sola ronda de diálogo, por lo que el texto puede no ser correcto.

trabajo futuro

Posteriormente, se pueden agregar comentarios detallados al proyecto y se puede agregar algún código para el preprocesamiento de datos.
Más adelante, se podrán utilizar grandes cantidades de datos para entrenar un mejor modelo de diálogo de chat basado en unilm.
Más adelante, podrá considerar el contexto y entrenar un modelo que admita múltiples rondas de diálogo.

referirse a

Unilm

Citando

 @misc{UnilmChatchitRobot,
  author = {Cong Liu},
  title = {Unilm for Chinese Chitchat Robot},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  url="https://github.com/liucongg/UnilmChatchitRobot",
}