aeae

面對對抗數據的歧義過於自信

aeaeaeaeae

內容

這是本文的存儲庫：

面對對抗數據的歧義，過分自信。瑪格麗特·李*和朱利安·邁克爾（Julian Michael），*關於動態對抗數據收集（DADC）的第一個NAACL 2022的研討會論文集。

（愚蠢的首字母縮寫詞來自原始工作名稱，“對抗評估的模棱兩可評估”）

在此存儲庫中：

• aeae/ ：數據，指標等的源代碼。
• scripts/ ：用於運行預測，評估和生成我們分析的圖的入口點。

勘誤

在本文中，我們忘記提到發燒-NLI數據與SNLI和MNLI一起使用來訓練classical模型。這意味著對classical培訓，對ANLI種子模型進行了培訓的所有非對流收集的數據。

用法

該項目需要Python 3，並使用Allennlp和Pytorch編寫。

工作站設置：

• 從python scripts/download.py開始，從基本目錄下載數據集。
• 使用pip install -r requirements.txt安裝Python依賴性。
• 帶有python scripts/build_data.py預處理數據集。

進行理智檢查模型培訓，運行

 MODE=tiny allennlp train config/basic.jsonnet --include-package aeae -o '{"trainer.cuda_device": -1}' -s save/tiny

這將使用CPU在MNLI的微小子集上訓練模型。相應地更改模式使用不同的數據源（請參閱Basic.jsonnet）CUDA設備確定使用了哪種GPU。

文件

NLI實例已預處理為以下格式：

 {
  "uid": String,
  "premise": String,
  "hypothesis": String,
  "label": "e" | "c" | "n"
}

其餘的文檔是待辦事項。