Download UnilmChatchitRobot - Download do código-fonte UnilmChatchitRobot

UnilmChatchitRobot

Código-Fonte de IA

1.0.0

Baixar

Unilm para robô de bate-papo chinês

Projeto de robô de bate-papo Kuaqua baseado no modelo Unilm

Descrição do projeto

Este projeto é um projeto de robô de bate-papo baseado no modelo Unilm.
O atual modelo de código aberto deste projeto é treinado apenas com os dados do grupo Douban Kua Kua, por isso é chamado de robô de bate-papo Kua Kua. Os alunos interessados também podem usar o código deste projeto para treinar outros materiais de diálogo.
Para uma introdução detalhada, consulte Zhihu: geração de diálogo Unilm do chatbot estilo vanglória.
Quando o diálogo final é gerado, as palavras sensíveis geradas são filtradas.

Estrutura de arquivo

Caminho de salvamento do modelo kuakua_robot_model (download do modelo, ver dados e modelo)
unilm_model caminho do modelo unilm de pré-treinamento (download do modelo, consulte modelo de pré-treinamento Unilm)
pasta data_dir para armazenar dados
- dirty_words.txt Dicionário de palavras sensíveis
- douban_kuakua_qa.txt corpus original do grupo Douban Kuakua
- amostra do conjunto de treinamento sample.json, os dados originais precisam ser processados em um formulário de amostra (o projeto não fornece código de pré-processamento)
arquivo de configuração configuration_unilm.py do modelo unilm
arquivo de modelo unilm model_unilm.py
Arquivo de treinamento do modelo run_train.py
arquivo de previsão interact_conditional_samples.py, com base no modelo treinado, gera diálogo

Ambiente operacional

transformadores == 3.0.2
pytorch >= 1,4

Dados e modelos

O corpus original vem dos dados do grupo Douban Kuakua, consulte data/douban_kuakua_qa.txt.
Após a limpeza, foram obtidos mais de 60.000 dados de conversas de rodada única. Para o formato dos dados, consulte data/sample.json.
O modelo treinado, endereço de download: link, código de verificação: e0au

Trem

 nohup python3 -u run_train.py --data_dir data/ 
                              --src_file kuakua_data.json 
                              --model_type unilm 
                              --model_name_or_path unilm_model/ 
                              --output_dir kuakua_robot_model/ 
                              --max_seq_length 128 
                              --max_position_embeddings 512 
                              --do_train 
                              --do_lower_case 
                              --train_batch_size 32 
                              --learning_rate 2e-5 
                              --logging_steps 100 
                              --num_train_epochs 10 > log.log 2>&1 &

A máquina de treinamento durou 2060, batch_size foi 32 e 10 épocas foram treinadas. A perda é a seguinte: avatar

A julgar pela curva de perdas, de facto, o modelo não convergiu completamente, e a perda ainda tem um grande declínio. Pode continuar a treinar, e o efeito deve ser melhor.

Teste

 python3 interactive_conditional_samples.py --device 0
                                           --topk 3
                                           --topp 0.95
                                           --dirty_path data/dirty_words.txt
                                           --model_name_or_path kuakua_robot_model/
                                           --repetition_penalty 1.2
                                           --max_len 32 
                                           --no_cuda False

O efeito de geração do modelo pode ser modificado ajustando topk, topp e repetition_penalty.

Resultado

amostra1

 user:工作不开心
chatbot:你可以的！工作不开心也可以去吃火锅，看个影响自己心情的电视剧
user:工作不开心
chatbot:我也是，不过现在开始努力找工作啦！一起加油鸭～
user:工作不开心
chatbot:那就祝福你，能找到喜欢的工作吧。
user:工作不开心
chatbot:你也要加油鸭！
user:工作不开心
chatbot:我也是，不过总有一天就会好起来的

amostra2

 user:我分手了
chatbot:分手快乐，你会遇到更好的。
user:我分手了
chatbot:旧的不去新的不来，你会遇见更好的
user:我分手了
chatbot:分的好，下一个更乖
user:我分手了
chatbot:旧的不去新的不来
user:我分手了
chatbot:分手快乐，祝你快乐！
user:我分手了
chatbot:旧的不去新的不来，加油！

amostra3

 user:好像去吃火锅，但是我在减肥
chatbot:你好棒！一定会瘦下来的！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅是为了能更好的减肥，你真棒！
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对胃好哦！我也在减肥，一起加油呀
user:好像去吃火锅，但是我在减肥
chatbot:吃火锅对减肥有什么效果？我也想去吃，但是现在没勇气去吃
user:好像去吃火锅，但是我在减肥
chatbot:你真的很棒，我也在减肥

insuficiente

O maior problema deste modelo é que as informações de contexto não são consideradas no treinamento do modelo, ou seja, o treinamento é realizado para uma única rodada de diálogo, portanto o texto pode não estar correto.

trabalho futuro

Posteriormente, comentários detalhados podem ser adicionados ao projeto e código de pré-processamento de dados pode ser adicionado.
Mais tarde, grandes lotes de dados podem ser usados para treinar um melhor modelo de diálogo de bate-papo baseado em Unilm.
Posteriormente, você poderá considerar o contexto e treinar um modelo que suporte múltiplas rodadas de diálogo.

consulte

Unilm

Citando

 @misc{UnilmChatchitRobot,
  author = {Cong Liu},
  title = {Unilm for Chinese Chitchat Robot},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  url="https://github.com/liucongg/UnilmChatchitRobot",
}