aeae

面对对抗数据的歧义过于自信

aeaeaeaeae

内容

这是本文的存储库：

面对对抗数据的歧义，过分自信。玛格丽特·李*和朱利安·迈克尔（Julian Michael），*关于动态对抗数据收集（DADC）的第一个NAACL 2022的研讨会论文集。

（愚蠢的首字母缩写词来自原始工作名称，“对抗评估的模棱两可评估”）

在此存储库中：

• aeae/ ：数据，指标等的源代码。
• scripts/ ：用于运行预测，评估和生成我们分析的图的入口点。

勘误

在本文中，我们忘记提到发烧-NLI数据与SNLI和MNLI一起使用来训练classical模型。这意味着对classical培训，对ANLI种子模型进行了培训的所有非对流收集的数据。

用法

该项目需要Python 3，并使用Allennlp和Pytorch编写。

工作站设置：

• 从python scripts/download.py开始，从基本目录下载数据集。
• 使用pip install -r requirements.txt安装Python依赖性。
• 带有python scripts/build_data.py预处理数据集。

进行理智检查模型培训，运行

 MODE=tiny allennlp train config/basic.jsonnet --include-package aeae -o '{"trainer.cuda_device": -1}' -s save/tiny

这将使用CPU在MNLI的微小子集上训练模型。相应地更改模式使用不同的数据源（请参阅Basic.jsonnet）CUDA设备确定使用了哪种GPU。

文档

NLI实例已预处理为以下格式：

 {
  "uid": String,
  "premise": String,
  "hypothesis": String,
  "label": "e" | "c" | "n"
}

其余的文档是待办事项。