Chinese Chatbot PyTorch Implementation

? Xiaozhi, otro chatbot chino: mmm:

? Usando el interesante corpus chino qingyun, un robot de chat chino escrito por @Doragd: muñeco de nieve:

• Aunque ella no es tan perfecta :muscle:, no tan genial :paw_prints:

• Pero ella fue codificada por mí:sparkling_heart:, así que

• Espero que todos puedan dar más estrellas para apoyar a este principiante de PNL y a sus amigos.

?fondo

Este proyecto es en realidad un submódulo del diseño del curso de ingeniería de software. Nuestro objetivo es desarrollar un sistema inteligente de procesamiento de tickets de atención al cliente.

El flujo de trabajo real del sistema inteligente de órdenes de trabajo de servicio al cliente es: cuando una persona hace una pregunta al sistema, el sistema primero busca en la base de conocimientos para ver si hay una pregunta relevante. Si es así, devuelve la respuesta a la pregunta. Si la persona no está satisfecha en este momento, puede enviar directamente una orden de trabajo. Si no existe en la base de conocimientos, se llama a este chatbot para obtener respuesta automática.

El escenario de servicio de este sistema es similar al sistema de servicio al cliente de Tencent Cloud. La mayoría de los clientes vienen a consultar problemas relacionados (servidores en la nube, nombres de dominio, etc.), por lo que la base de conocimientos también es una colección de consultas y solución de problemas (preguntas, respuestas). sobre servidores en la nube, nombres de dominio, etc.

La interfaz de front-end del sistema y la interacción de mensajes de front-end y back-end las completa otro compañero de clase @adjlyadv, principalmente usando React + Django.

@Doragd es responsable de adquirir la base de conocimientos y escribir, capacitar y probar el chatbot. El contenido de este repositorio también trata sobre esto.

?Efecto de prueba

• Responder sin utilizar la base de conocimientos.

• Utilice la base de conocimientos para responder

• Efecto general del sistema:

?Estructura del proyecto

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?Bibliotecas dependientes

Instalar dependencias

$ pip install -r requirements.txt

?Comenzar

Preprocesamiento de datos (se puede omitir)

$ python datapreprocess.py

Preprocese el corpus para generar corpus.pth ( corpus.pth se ha subido aquí, por lo que este paso se puede omitir )

Parámetros modificables:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

usar

• Utilice la base de conocimientos

Cuando utilice la base de conocimientos, debe pasar el parámetro use_QA_first=True En este momento, para la cadena de entrada, la mejor pregunta y respuesta primero se comparan en la base de conocimientos y se devuelven. Cuando no se puede encontrar, se llama al chatbot para generar automáticamente una respuesta.

La base de conocimientos aquí es una colección de 100 preguntas y respuestas frecuentes compiladas de documentos oficiales de Tencent Cloud, ¡solo para pruebas!

$ python main.py chat --use_QA_first=True

• No utilizar una base de conocimientos

Debido a las necesidades del diseño del curso, se agregaron pares de preguntas y respuestas de Tencent Cloud, pero son irrelevantes para el proyecto del robot de chat, por lo que cuando se usa de manera general, use_QA_first=False , este parámetro por defecto es True

$ python main.py chat --use_QA_first=False

• Usar parámetros predeterminados

$ python main.py chat

• Salir del chat: ingrese exit , quit o q

Otros parámetros configurables

Explique en el archivo config.py

Cuando necesite pasar nuevos parámetros, solo necesita pasarlos desde la línea de comando, en forma de

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

El comando anterior indica la ruta para cargar el modelo entrenado y si se debe utilizar la base de conocimientos.

?Implementación técnica

cuerpo

Nombre del cuerpo	Número de corpus	Explicación de las fuentes del corpus.	Características del corpus	muestra de corpus	Si ha sido participio
qingyun (corpus de Qingyun)	10W	Un grupo de comunicación chatbot	Relativamente bueno, amigable para la vida.	P: Parece que amas mucho el dinero. R: Oh, ¿en serio? Entonces ya casi has llegado	No

• Fuente: https://github.com/codemayq/chinese_chatbot_corpus

Sec2Seq

• Codificador: GRU bidireccional de dos capas
• Decodificador: GRU unidireccional de doble capa

Atención

• Atención global, utilizando puntos para calcular puntuaciones
• Ref. https://arxiv.org/abs/1508.04025

?Modelo de formación y evaluación

$ python train_eval.py train [--options]

La parte de evaluación cuantitativa aún no se ha escrito. Debe medirse con perplejidad. Actualmente, solo puede generar oraciones y evaluar manualmente la calidad.

$ python train_eval.py eval [--options]

?Registro y resumen de salto en boxes

• La experiencia más profunda es que "existe una brecha entre la implementación de programación N y la comprensión del conocimiento del aprendizaje profundo". Aunque la teoría es muy clara para todos, cuando se trata de la implementación de la programación, siempre habrá tales o cuales problemas: desde el procesamiento de conjuntos de datos hasta la implementación de la programación de muchas fórmulas, pasando por el ajuste de parámetros, la configuración de la GPU y otras cuestiones.
• El proceso real de esta práctica fue seguir el Tutorial de PyTorch y pasar por la parte del Chatbot. Después de ejecutarlo, cambié el corpus, lo procesé y luego refactoricé el código de acuerdo con el estilo de la clase. Durante el proceso de depuración, encontré muchos obstáculos, especialmente al mover tensores a la GPU, encontramos varios problemas, principalmente porque no sabemos exactamente qué se movió y cuándo (dispositivo).
  • A través de las pruebas, descubrimos que model.to (dispositivo) solo moverá los parámetros a la GPU y no moverá el tensor miembro definido en la clase, por lo que si define un nuevo tensor en el método de avance, recuerde moverlo.
  • También está la cuestión del orden de movimiento: primero mueva el modelo a la GPU y luego defina el optimizador. Y el método de movimiento: model=model.to(device), no olvides asignar valor.
  • Es fácil que la GPU se quede sin memoria. Preste atención a la utilización de la memoria al escribir código y minimice la duplicación de tensores.
  • Después de cambiar el corpus chino al principio, el entrenamiento nunca convergió. Al final, descubrí que la configuración del tamaño del lote era demasiado pequeña. De hecho, sentí que el tamaño del lote debería ser lo más grande posible cuando la memoria de video sea. suficiente. De hecho, he visto esto antes, pero lo olvidé por completo al escribir el código. Demuestra que no entendí lo suficiente cuando vi el mini lote en ese momento. Todavía tengo que escribir código para poder estar profundamente arraigado en los corazones de las personas.
  • Otro problema es que entendí mal torch.long, pensando que era un punto flotante de alta precisión, pero resultó ser del tipo int64, lo que provocó un error. Me llevó mucho tiempo descubrir qué estaba pasando. Esto nos indica que leamos la documentación con atención.
  • El beneficio final es la familiaridad con cómo implementar realmente un modelo, lo cual es importante.
• De hecho, el efecto de este modelo no es muy bueno. Aparte de los problemas del modelo en sí, descubrí que la calidad de la segmentación de palabras afectará seriamente la calidad de la oración. Sin embargo, ni siquiera establecí palabras vacías durante. segmentación de palabras, se producirían algunos resultados extraños.
• Otro problema es que cuando se trata de secuencias de longitud variable, si usted mismo define la función de pérdida, es fácil volverse inestable. Todavía estamos estudiando la API oficial.
• Durante esta práctica, también descubrí que mi comprensión de algunos parámetros no era lo suficientemente profunda y no sabía cómo ajustarlos, por lo que tuve que complementar la teoría.
• Aún queda por hacer la evaluación del modelo.

Expresiones de gratitud

• Tutorial oficial de chatbot
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• Proporcionar corpus chino
  • https://github.com/codemayq/chinese_chatbot_corpus
• El contenido es consistente con el Tutorial oficial de Chatbot, pero tiene comentarios de código detallados.
  • http://fancyerii.github.io/2019/02/14/chatbot/
• Consulte el método de escritura y los hábitos del modelo.
  • https://github.com/chenyuntc/pytorch-book