MultiTurnDialogZoo

Zoológico de diálogo multivoltas

Um lote de linhas de base de diálogo multivoltas ou de volta única prontas para uso.

Bem-vindos, PRs e problemas.

PENDÊNCIA

• Rede de memória
• HVMN
• Pure Transformer (em desenvolvimento, baixo desempenho)
• Geração de diálogo multiturno baseado em GAN
• Modelos de diálogo de ajuste fino baseados em RL
• Corrija a arquitetura do decodificador (adicione o vetor de contexto $c$ e última incorporação de token $y_{t-1}$ para prever $y_t$ )

Conjunto de dados

O script de pré-processamento para esses conjuntos de dados pode ser encontrado na pasta data/data_process .

1. Conjunto de dados DailyDialog
2. Corpus do Ubuntu
3. EmpChat
4. DSTC7-AVSD
5. PersonaChat

Métrica

1. PPL: testar perplexidade
2. BLEU (1-4): versão nlg-eval ou multi-bleu.perl ou nltk
3. ROUGE-2
4. Métricas baseadas em incorporação: Média, Extrema, Ganancioso (lento e opcional)
5. Distinto-1/2
6. BERTScore
7. BERT-RUBER

Requisitos

1. Pytorch 1.2+ (suporte para transformador e atualização pack_padded)
2. Pitão 3.6.1+
3. tqdm
4. entorpecido
5. nltk 3.4+
6. picante
7. sklearn (opcional)
8. rouge
9. GoogleNews word2vec ou luva 300 word2vec (opcional)
10. pytorch_geometric (PyG 1.2) (opcional)
11. cuda 9.2 (combinar com PyG) (opcional)
12. tensorboard (para PyTorch 1.2+)
13. perl (para executar o script multi-bleu.perl)

Formato do conjunto de dados

Três conjuntos de dados de diálogo de domínio aberto multivoltas (Dailydialog, DSTC7_AVSD, PersonaChat) podem ser obtidos por este link

Cada conjunto de dados contém 6 arquivos

• src-train.txt
• tgt-train.txt
• src-dev.txt
• tgt-dev.txt
• src-test.txt
• tgt-test.txt

Em todos os arquivos, uma linha contém apenas um contexto de diálogo (src) ou a resposta do diálogo (tgt). Mais detalhes podem ser encontrados nos arquivos de exemplo. Para criar o gráfico, cada frase deve começar com os tokens especiais <user0> e <user1> que denotam o locutor. O __eou__ é usado para separar as múltiplas frases no contexto da conversa. Mais detalhes podem ser encontrados no caso de pequenos dados.

Como usar

• Nomes de modelos: Seq2Seq, SeqSeq_MHA, HRED, HRED_RA, VHRED, WSeq, WSeq_RA, DSHRED, DSHRED_RA, HRAN, MReCoSa, MReCoSa_RA
• Nomes de conjuntos de dados: daildydialog, ubuntu, dstc7, personachat, empchat

0. Pronto

Antes de executar os seguintes comandos, certifique-se de que as pastas essenciais foram criadas:

mkdir -p processed/ $DATASET
mkdir -p data/ $DATASET
mkdir -p tblogs/ $DATASET
mkdir -p ckpt/ $DATASET

A variável DATASET contém o nome do conjunto de dados que você deseja processar

1. Gere o vocabulário do conjunto de dados

 # default 25000 words
./run.sh vocab < dataset >

2. Gere o gráfico do conjunto de dados (opcional)

 # only MTGCN and GatedGCN need to create the graph
# zh or en
./run.sh graph < dataset > < zh/en > < cuda >

3. Verifique as informações sobre o conjunto de dados pré-processado

Mostre a duração das declarações, as voltas da configuração multi-voltas e assim por diante.

./run.sh stat < dataset >

4. Treine N-grama LM (descarte)

Treine o modelo de linguagem N-gram por NLTK (Lidstone com gama 0,5, n-gram padrão é 3):

 # train the N-gram Language model by NLTK
./run.sh lm < dataset >

5. Treine o modelo no conjunto de dados correspondente

./run.sh train < dataset > < model > < cuda >

6. Traduza o conjunto de dados de teste:

 # translate mode, dataset dialydialog, model HRED on 4th GPU
./run.sh translate < dataset > < model > < cuda >

Traduzir um lote de modelos

 # rewrite the models and datasets you want to translate
./run_batch_translate.sh < cuda >

7. Avalie o resultado dos enunciados traduzidos

 # get the BLEU and Distinct result of the generated sentences on 4th GPU (BERTScore need it)
./run.sh eval < dataset > < model > < cuda >

Avaliar um lote de modelos

 # the performance are redirected into the file `./processed/<dataset>/<model>/final_result.txt`
./run_batch_eval.sh < cuda >

8. Obtenha a curva de todos os pontos de verificação de treinamento (descarte, tensorboard é tudo que você precisa)

 # draw the performance curve, but actually, you can get all the information from the tensorboard
./run.sh curve < dataset > < model > < cuda >

9. Perturbe o conjunto de dados de teste de origem

Consulte o artigo: Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

 # 10 mode for perturbation
./run.sh perturbation < dataset > < zh/en > 

Modelos prontos para uso

• Seq2Seq-attn: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
• Seq2Seq-MHA: Attention is All you Need . Deve-se notar que o Vanilla Transformer é muito difícil de obter um bom desempenho nesses conjuntos de dados. Para garantir o desempenho estável, aproveito a autoatenção de vários cabeçotes (1 camada, você pode alterá-la) no Seq2Seq-attn baseado em RNN, que mostra o melhor desempenho.
• HRED: Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models . HRED aprimorado com atenção no nível da expressão.
• HRED-WA: Construindo a atenção em nível de palavra no modelo HRED.
• WSeq: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
• WSeq-WA: Construindo a atenção em nível de palavra no modelo WSeq.
• VHRED: A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues , sem perda de BOW (ainda em desenvolvimento, bem-vindo PR)
• DSHRED: Context-Sensitive Generation of Open-Domain Conversational Responses , mecanismo de atenção dinâmico e estático no HRED
• DSHRED-WA: Construindo a atenção em nível de palavra no DSHRED
• ReCoSa: ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation . Deve-se notar que esta implementação aqui é um pouco diferente dos códigos originais, mas mais poderosa e prática (autoatenção multicabeças de 3 camadas, mas apenas 1 camada no papel original).
• ReCoSa-WA: Construindo atenção em nível de palavra no ReCoSa
• HRAN: Hierarchical Recurrent Attention Network for Response Generation , na verdade é o mesmo que o HRED com mecanismo de atenção em nível de palavra.

Perguntas frequentes