MultiTurnDialogZoo

多回合对话动物园

一批现成的多轮或单轮对话基线。

欢迎 PR 和问题。

待办事项

• 记忆网络
• 高压VMN
• Pure Transformer（正在开发中，性能较差）
• 基于GAN的多轮对话生成
• 基于强化学习的微调对话模型
• 修复解码器的架构（添加上下文向量 $c$和最后的令牌嵌入 $y_{t-1}$用于预测 $y_t$ ）

数据集

这些数据集的预处理脚本可以在data/data_process文件夹下找到。

1. DailyDialog 数据集
2. Ubuntu语料库
3. 员工聊天室
4. DSTC7-AVSD
5. 角色聊天

公制

1. PPL：测试困惑度
2. BLEU(1-4)：nlg-eval 版本或多 bleu.perl 或 nltk
3. 胭脂-2
4. 基于嵌入的指标：平均、极值、贪婪（缓慢且可选）
5. 独特-1/2
6. BERT评分
7. 伯特·鲁伯

要求

1. Pytorch 1.2+（Transformer 支持和 pack_pangled 更新）
2. Python 3.6.1+
3. 全面质量管理
4. 麻木
5. NLTK 3.4+
6. scipy
7. sklearn（可选）
8. 胭脂
9. GoogleNews word2vec或glove 300 word2vec （可选）
10. pytorch_geometric (PyG 1.2)（可选）
11. cuda 9.2（与 PyG 匹配）（可选）
12. 张量板（适用于 PyTorch 1.2+）
13. perl（用于运行 multi-bleu.perl 脚本）

数据集格式

三个多轮开放域对话数据集（Dailydialog、DSTC7_AVSD、PersonaChat）可以通过此链接获取

每个数据集包含6个文件

• src-train.txt
• tgt-train.txt
• src-dev.txt
• tgt-dev.txt
• src-test.txt
• tgt-测试.txt

在所有文件中，一行仅包含一个对话上下文（src）或对话响应（tgt）。更多详细信息可以在示例文件中找到。为了创建图表，每个句子必须以表示说话者的特殊标记<user0>和<user1>开头。 __eou__用于分隔对话上下文中的多个句子。更多细节可以在小数据案例中找到。

如何使用

• 模型名称： Seq2Seq, SeqSeq_MHA, HRED, HRED_RA, VHRED, WSeq, WSeq_RA, DSHRED, DSHRED_RA, HRAN, MReCoSa, MReCoSa_RA
• 数据集名称： daildydialog, ubuntu, dstc7, personachat, empchat

0. 准备好

在运行以下命令之前，请确保已创建必要的文件夹：

mkdir -p processed/ $DATASET
mkdir -p data/ $DATASET
mkdir -p tblogs/ $DATASET
mkdir -p ckpt/ $DATASET

变量DATASET包含要处理的数据集的名称

1. 生成数据集的词汇

 # default 25000 words
./run.sh vocab < dataset >

2. 生成数据集的图表（可选）

 # only MTGCN and GatedGCN need to create the graph
# zh or en
./run.sh graph < dataset > < zh/en > < cuda >

3.查看预处理后的数据集信息

显示话语的长度、多回合设置的回合数等。

./run.sh stat < dataset >

4. 训练N-gram LM（丢弃）

通过 NLTK 训练 N-gram 语言模型（Lidstone，gamma 为 0.5，默认 n-gram 为 3）：

 # train the N-gram Language model by NLTK
./run.sh lm < dataset >

5. 在相应的数据集上训练模型

./run.sh train < dataset > < model > < cuda >

6. 翻译测试数据集：

 # translate mode, dataset dialydialog, model HRED on 4th GPU
./run.sh translate < dataset > < model > < cuda >

翻译一批模型

 # rewrite the models and datasets you want to translate
./run_batch_translate.sh < cuda >

7. 评估翻译结果

 # get the BLEU and Distinct result of the generated sentences on 4th GPU (BERTScore need it)
./run.sh eval < dataset > < model > < cuda >

评估一批模型

 # the performance are redirected into the file `./processed/<dataset>/<model>/final_result.txt`
./run_batch_eval.sh < cuda >

8.获取所有训练检查点的曲线（丢弃，tensorboard就够了）

 # draw the performance curve, but actually, you can get all the information from the tensorboard
./run.sh curve < dataset > < model > < cuda >

9.扰动源测试数据集

请参阅论文： Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study

 # 10 mode for perturbation
./run.sh perturbation < dataset > < zh/en > 

即用型型号

• Seq2Seq-attn： Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation
• Seq2Seq-MHA： Attention is All you Need 。应该指出的是，普通 Transformer 很难在这些数据集上获得良好的性能。为了确保稳定的性能，我在基于RNN的Seq2Seq-attn上利用了多头自注意力（1层，你可以改变它），这显示出了更好的性能。
• HRED： Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models 。增强 HRED 与话语级注意力。
• HRED-WA：在 HRED 模型上构建词级注意力。
• WSeq： How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
• WSeq-WA：在 WSeq 模型上构建词级注意力。
• VHRED： A Hierarchical Latent Variable Encoder-Decoder Model for Generating Dialogues ，无 BOW 损失（仍在开发中，欢迎 PR）
• DSHRED： Context-Sensitive Generation of Open-Domain Conversational Responses ，HRED 上的动态和静态注意机制
• DSHRED-WA：在 DSHRED 上建立词级注意力
• ReCoSa： ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation 。需要注意的是，这里的实现与原始代码有点不同，但更强大和实用（3层多头自注意力但原始论文中只有1层）。
• ReCoSa-WA：在 ReCoSa 上建立词级关注
• HRAN： Hierarchical Recurrent Attention Network for Response Generation ，实际上与具有词级注意力机制的 HRED 相同。

常问问题