对话评估

对话评估 ·

一个轻量级存储库，用于使用17 个指标自动评估对话模型。

特征

？ 选择您想要计算的指标
评估可以在响应文件或包含多个文件的目录上自动运行
？ 指标以预定义的易于处理的格式保存
️如果计算特定指标所需的某些文件丢失，程序会向您发出警告

指标

• 响应长度：响应中的字数。
• 每个单词的熵：单词的概率是根据训练数据中观察到的频率计算的。还计算二元组级别的熵。
• 话语熵：每个单词的熵和响应长度的乘积。也在二元组级别上计算。
• KL 散度：衡量模型响应的词分布与地面真实分布的近似程度。也在二元组级别进行计算（使用二元组分布）。
• 嵌入：测量嵌入平均值、极值和贪婪值。平均值衡量响应词向量与目标话语的平均值之间的余弦相似度。 extrema通过在响应和目标话语中的词向量中取每个维度的最大绝对值来构造表示，并测量它们之间的余弦相似度。贪婪根据其嵌入之间的余弦相似度将每个响应标记与目标标记进行匹配（反之亦然），并对所有单词的总分进行平均。
• 连贯性：输入和响应表示的余弦相似度（使用平均词嵌入方法构建）。
• Distinct ：Distinct-1 和distinct-2 测量一组响应中唯一一元组/二元组与一元组/二元组总数的比率。
• BLEU ：测量响应和目标之间的 n 元语法重叠 (n = [1,2,3,4])。可以在参数中选择平滑方法。

设置

运行此命令来安装所需的软件包：

 pip install -r requirements.txt

用法

主文件可以从任何地方调用，但是在指定目录路径时，您应该从存储库的根目录给出它们。

 python code/main.py -h

如需完整文档，请访问 wiki。

输入格式

您应该提供尽可能多的所需参数路径（上图）。如果您错过了一些，程序仍然会运行，但它不会计算需要这些文件的一些指标（它将打印这些指标）。如果您有训练数据文件，程序可以自动生成词汇表并下载 fastText 嵌入。

如果您不想计算所有指标，您可以非常轻松地设置应在配置文件中计算哪些指标。

保存格式

文件将保存到响应文件所在的目录中。第一行包含指标的名称，然后每行包含一个文件的指标。文件名后跟由空格分隔的各个指标值。每个指标由三个以逗号分隔的数字组成：平均值、标准差和置信区间。您可以在参数中设置置信区间的 t 值，默认为 95% 置信度。

结果与示例

Transformer 在 DailyDialog 上进行训练

有趣的是，在 DailyDialog 上训练 Transformer 模型期间，所有 17 个指标都会改善直到某个点，然后停滞不前，不会发生过拟合。检查论文附录中的数字。

TRF 是在验证损失最小值下评估的 Transformer 模型，TRF-O 是在 150 个 epoch 训练后评估的 Transformer 模型，其中指标开始停滞。 RT 表示从训练集中随机选择的响应，GT 表示真实响应。

变压器在康奈尔大学接受培训

TRF 是 Transformer 模型，RT 是指从训练集中随机选择的响应，GT 是指真实响应。这些结果是在验证损失最小的检查点在测试集上测量的。

在 Twitter 上训练 Transformer

TRF 是 Transformer 模型，RT 是指从训练集中随机选择的响应，GT 是指真实响应。这些结果是在验证损失最小的检查点在测试集上测量的。

贡献

检查问题是否有一些补充，感谢帮助。欢迎任何贡献❤️

请尝试遵循存储库中使用的代码语法风格（flake8、2 个空格缩进、80 个字符行、大量注释等）

可以通过为指标创建一个类来添加新指标，该类处理给定数据的指标计算。查看 BLEU 指标的示例。通常，init 函数会处理稍后需要的任何数据设置，并且 update_metrics 使用参数中的当前示例更新指标字典。在类中，您应该定义 self.metrics 字典，它存储给定测试文件的指标值列表。这些指标的名称（字典的键）也应该添加到配置文件 self.metrics 中。最后，您需要将度量类的实例添加到 self.objects 中。如果您的指标需要任何设置，则在初始化时您可以使用数据文件的路径。此后，您的指标应该会自动计算并保存。

但是，您还应该向指标添加一些约束，例如，如果指标计算所需的文件丢失，则应通知用户，如下所示。

作者

• Richard Csaky （如果您在运行代码时需要任何帮助：[email protected]）

执照

该项目根据 MIT 许可证获得许可 - 有关详细信息，请参阅许可证文件。
如果您在工作中使用该存储库，请包含该存储库的链接，并考虑引用以下论文：

 @inproceedings{Csaky:2019,
    title = "Improving Neural Conversational Models with Entropy-Based Data Filtering",
    author = "Cs{'a}ky, Rich{'a}rd and Purgai, Patrik and Recski, G{'a}bor",
    booktitle = "Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics",
    month = jul,
    year = "2019",
    address = "Florence, Italy",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/P19-1567",
    pages = "5650--5669",
}