Chinese Chatbot PyTorch Implementation

?Xiaozhi, outro chatbot chinês:yum:

? Usando o interessante corpus chinês qingyun, um robô de bate-papo chinês escrito por @Doragd: boneco de neve:

• Mesmo que ela não seja tão perfeita :muscle:, não é tão boa assim :paw_prints:

• Mas ela foi codificada por mim: sparkling_heart:, então

• Espero que todos possam dar mais estrelas para apoiar este iniciante em PNL e seus amigos.

?fundo

Este projeto é na verdade um submódulo do design do curso de engenharia de software. Nosso objetivo é desenvolver um sistema inteligente de processamento de tickets de atendimento ao cliente.

O fluxo de trabalho real do sistema inteligente de ordem de serviço de atendimento ao cliente é: quando uma pessoa faz uma pergunta ao sistema, o sistema primeiro pesquisa a base de conhecimento para ver se há uma pergunta relevante. Em caso afirmativo, ele retorna a resposta à pergunta. Se a pessoa não estiver satisfeita neste momento, ela poderá enviar diretamente uma ordem de serviço. Caso não exista na base de conhecimento, este chatbot é chamado para resposta automática.

O cenário de serviço deste sistema é semelhante ao sistema de atendimento ao cliente da Tencent Cloud. Os clientes vêm principalmente para consultar questões relacionadas (servidores em nuvem, nomes de domínio, etc.), portanto a base de conhecimento também é uma coleção de consultas e solução de problemas (perguntas, respostas). sobre servidores em nuvem, nomes de domínio, etc.

A interface front-end do sistema e a interação de mensagens front-end e back-end são completadas por outro colega @adjlyadv, principalmente usando React + Django.

@Doragd é responsável por adquirir a base de conhecimento e escrever, treinar e testar o chatbot. O conteúdo deste repositório também trata disso.

? Efeito de teste

• Responda sem usar a base de conhecimento

• Use a base de conhecimento para responder

• Efeito geral do sistema:

?Estrutura do projeto

 │  .gitignore
│  config.py               #模型配置参数
│  corpus.pth              #已经过处理的数据集
│  dataload.py             #dataloader
│  datapreprocess.py       #数据预处理
│  LICENSE
│  main.py               
│  model.py       
│  README.md
│  requirements.txt
│  train_eval.py            #训练和验证,测试
│  
├─checkpoints              
│      chatbot_0509_1437   #已经训练好的模型
│      
├─clean_chat_corpus
│      qingyun.tsv         #语料库
│      
├─QA_data
│      QA.db               #知识库
│      QA_test.py          #使用知识库时调用
│      stop_words.txt      #停用词
│      __init__.py
│      
└─utils
        beamsearch.py      #to do 未完工
        greedysearch.py    #贪婪搜索，用于测试
        __init__.py

?Bibliotecas dependentes

Instalar dependências

$ pip install -r requirements.txt

?Comece

Pré-processamento de dados (pode ser omitido)

$ python datapreprocess.py

Pré-processe o corpus para gerar corpus.pth ( corpus.pth foi carregado aqui, portanto esta etapa pode ser omitida )

Parâmetros modificáveis:

 # datapreprocess.py
corpus_file = 'clean_chat_corpus/qingyun.tsv' #未处理的对话数据集
max_voc_length = 10000 #字典最大长度
min_word_appear = 10 #加入字典的词的词频最小值
max_sentence_length = 50 #最大句子长度
save_path = 'corpus.pth' #已处理的对话数据集保存路径

usar

• Use a base de conhecimento

Ao usar a base de conhecimento, você precisa passar o parâmetro use_QA_first=True Neste momento, para a sequência de entrada, a melhor pergunta e resposta são primeiro correspondidas na base de conhecimento e retornadas. Quando não for encontrado, o chatbot é chamado para gerar automaticamente uma resposta.

A base de conhecimento aqui é uma coleção de 100 perguntas e respostas frequentes compiladas de documentos oficiais da Tencent Cloud, apenas para teste!

$ python main.py chat --use_QA_first=True

• Não usar uma base de conhecimento

Devido às necessidades de design do curso, os pares de perguntas e respostas da Tencent Cloud foram adicionados, mas são irrelevantes para o projeto do robô de bate-papo, portanto, quando usado geralmente, use_QA_first=False , este parâmetro é padronizado como True

$ python main.py chat --use_QA_first=False

• Usar parâmetros padrão

$ python main.py chat

• Sair do bate-papo: digite exit , quit ou q .

Outros parâmetros configuráveis

Explique no arquivo config.py

Quando precisar passar novos parâmetros, basta passá-los a partir da linha de comando, na forma de

$ python main.py chat --model_ckpt= ' checkpoints/chatbot_0509_1437 ' --use_QA_first=False

O comando acima indica o caminho para carregar o modelo treinado e se deve usar a base de conhecimento

?Implementação técnica

corpus

Nome do corpus	Número do corpus	Explicação das fontes do corpus	Características do corpus	Amostra de corpus	Se foi particípio
qingyun (corpus Qingyun)	10W	Um grupo de comunicação chatbot	Relativamente bom, favorável à vida	P: Parece que você ama muito o dinheiro. A: Ah, é mesmo? Então você está quase lá	não

• Fonte: https://github.com/codemayq/chinese_chatbot_corpus

Seq2Seq

• Codificador: GRU bidirecional de duas camadas
• Decodificador: GRU unidirecional de camada dupla

Atenção

• Atenção global, usando ponto para calcular pontuações
• Ref. https://arxiv.org/abs/1508.04025

?Modelo de treinamento e avaliação

$ python train_eval.py train [--options]

A parte da avaliação quantitativa ainda não foi escrita. Deve ser medida pela perplexidade. Atualmente, só pode gerar sentenças e avaliar manualmente a qualidade.

$ python train_eval.py eval [--options]

?Registro e resumo do pit jumping

• A experiência mais profunda é que “há uma lacuna nas implementações de programação N entre a compreensão e a compreensão do conhecimento de aprendizagem profunda”. Embora a teoria seja muito clara para todos, quando se trata de implementação de programação, sempre haverá tais e tais problemas: desde o processamento de conjuntos de dados, até a implementação de programação de muitas fórmulas, até ajuste de parâmetros, configuração de GPU e outras questões.
• O processo real desta prática foi seguir o tutorial do PyTorch e passar primeiro pela parte do Chatbot. Depois de executá-lo, alterei o corpus, processei o corpus e refatorei o código de acordo com o estilo da classe. processo de depuração e encontrei muitas armadilhas, especialmente ao mover tensores para a GPU, encontramos vários problemas, principalmente porque não sabemos exatamente o que foi movido e quando (dispositivo).
  • Por meio de testes, descobrimos que model.to(device) apenas moverá os parâmetros para a GPU e não moverá o tensor de membro definido na classe, portanto, se você definir um novo tensor no método forward, lembre-se de movê-lo.
  • Há também a questão da ordem do movimento: primeiro mova o modelo para a GPU e depois defina o otimizador. E o método móvel: model=model.to(device), não se esqueça de atribuir valor.
  • É fácil para a GPU ficar sem memória. Preste atenção à utilização da memória ao escrever código e minimize a duplicação de tensores.
  • Depois de alterar o corpus chinês no início, o treinamento sempre falhava em convergir. No final, descobri que a configuração batch_size era muito pequena, na verdade, achei que o batch_size deveria ser o maior possível quando a memória de vídeo fosse. suficiente. Na verdade, já vi isso antes, mas esqueci completamente ao escrever o código. Isso mostra que eu não entendi o suficiente quando vi o minilote na época. Ainda preciso escrever o código para poder estar profundamente enraizado no coração das pessoas.
  • Outro problema é que entendi mal o torch.long, pensando que era um ponto flutuante de alta precisão, mas acabou sendo do tipo int64, o que causou um bug. Demorei muito para descobrir o que estava acontecendo. Isso nos diz para ler a documentação com atenção.
  • O ganho final é a familiaridade com como realmente implementar um modelo, o que é importante.
• Na verdade, o efeito deste modelo não é muito bom. Além dos problemas do modelo em si, descobri que a qualidade da segmentação das palavras afetará seriamente a qualidade da frase. segmentação de palavras, alguns resultados estranhos ocorreriam.
• Outro problema é que ao lidar com sequências de comprimento variável, se a função de perda for definida por você mesmo, é fácil ficar instável. Ainda estamos estudando a API oficial.
• Durante esta prática, também descobri que meu entendimento de alguns parâmetros não era suficientemente profundo e não sabia como ajustá-los, então tive que complementar a teoria.
• A avaliação do modelo ainda precisa ser feita.

Agradecimentos

• Tutorial Oficial do Chatbot
  • https://pytorch.org/tutorials/beginner/chatbot_tutorial.html
• Fornece corpus chinês
  • https://github.com/codemayq/chinese_chatbot_corpus
• O conteúdo é consistente com o Tutorial oficial do Chatbot, mas com comentários detalhados do código
  • http://fancyerii.github.io/2019/02/14/chatbot/
• Consulte o método de escrita e os hábitos do modelo.
  • https://github.com/chenyuntc/pytorch-book