mmi_anti_pytorch

mmi_anti_pytorch

该项目是 A Diversity-Promoting Objective Function for Neural Conversation Models 中描述的 MMI-anti 模型的 pytorch 实现

参考

该代码基于 OpenNMT-py 和 word_language_model

快速入门

Step1：数据预处理

 python preprocess.py

我们将使用data/文件夹中的一些示例数据。该数据由并行对话上下文 ( .en ) 及其响应 ( .vi ) 数据组成，每行包含一个句子，标记之间以空格分隔：

• train.en
• train.vi
• dev.en
• dev.vi

运行预处理后，在data/文件夹中生成以下文件：

• dialogue.train.1.pt ：包含训练数据的序列化 PyTorch 文件
• dialogue.valid.1.pt ：包含验证数据的序列化 PyTorch 文件
• dialogue.vocab.pt ：包含词汇数据的序列化PyTorch文件，将在语言模型的训练过程中使用。

Step2：训练语言模型

 cd lm/tool/

在此步骤中，我们将根据 MMI-anti 模型的响应训练语言模型（示例数据data/*.vi ）。由于该语言模型将在 MMI-anti 模型中使用，因此它将共享Step1中生成的字典（ data/*.vocab.pt ）。

Step2.1：数据预处理

 python preprocess.py

这些预处理会将 MMI-anti 模型的所有响应（示例数据data/*.vi ）转换为语言模型的并行数据。

运行预处理后，在lm/data/文件夹中生成以下文件：

• train.en
• train.de
• dev.en
• dev.de

例如，文件data/train.vi中的响应"they just want a story"将被预处理为文件lm/data/train.en中的"<s> they just want a story"和"they just want a story </s>"文件lm/data/train.de中。

Step2.2：训练语言模型

 cd ../
python lm.py

此训练命令会将语言模型保存到lm/model.pt 。

要在 CPU 上运行此代码，您需要将 pytorch 更新到24th Feb 2018之后的任何版本，并确保可以在torchtext/data/iterator.py中找到这段代码：

 if not torch.cuda.is_available() and self.device is None:
  self.device = -1

Step2.3：测试你的语言模型

 python generate.py

该工具将使用语言模型lm/model.pt随机生成 1000 个话语，并将它们保存到文件lm/generated.txt中。

Step2.4：回到我们的MMI-anti模型

 cd ../

Step3：训练MMI-anti模型

 python train.py

第四步：生成

 python translate.py -model model_name

生成结果将保存在文件pred.txt中。

Step5：评估多样性？

 cat pred.txt | python diversity.py