wice下載 - wice源代碼下載

wice

其他源碼

1.0.0

下載

WICE：現實世界中的索賠

該存儲庫包含有關紙質WICE的數據集和代碼：Wikipedia（EMNLP 2023）索賠的現實世界中的索賠。

作者：Ryo Kamoi，Tanya Goyal，Juan Diego Rodriguez，Greg Durrett

 @inproceedings { kamoi-etal-2023-wice ,
    title = " {W}i{CE}: Real-World Entailment for Claims in {W}ikipedia " ,
    author = " Kamoi, Ryo  and
      Goyal, Tanya  and
      Rodriguez, Juan  and
      Durrett, Greg " ,
    editor = " Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika " ,
    booktitle = " Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing " ,
    month = dec,
    year = " 2023 " ,
    address = " Singapore " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2023.emnlp-main.470 " ,
    pages = " 7561--7583 " ,
}

數據目錄包括WICE數據集。
Code_and_resources目錄包括論文中實驗的代碼和模型輸出。有關詳細信息，請參閱Code_and_resources/readme.md。

WICE數據集

WICE是基於自然主張的精細元素文本構成數據集，並從Wikipedia提取的證據對。在Wikipedia和它引用的相應條款中給出了一個句子，我們註釋了“元素”標籤，該句子是支持索賠句子的引用文章中的句子列表，以及索賠中的代幣，該句子不支持該文章（ S）。

該數據集可用於評估各種任務，但主要是為三個任務設計的：構成分類，證據句子檢索和不支持的令牌檢測。

需要和檢索

數據/intailment_retrieval包括用於完成和檢索任務的WICE數據集。數據/intailment_retrieval/索賠包括具有原始索賠和數據/intailment_retrieval/sublaim的數據，其中包括帶有分解索賠的數據（使用索賠要求進行良好的註釋）。

每個子目錄都包含用於火車，開發和測試集的JSONL文件。這是JSONL文件中數據的示例：

{
    "label" : " partially_supported " ,
    "supporting_sentences" : [[ 5 , 15 ], [ 15 , 17 ]],
    "claim" : " Arnold is currently the publisher and editorial director of Media Play News, one of five Hollywood trades and the only one dedicated to the home entertainment sector. " ,
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " dev02986 " , "claim_title" : " Roger Hedgecock " , "claim_section" : " Other endeavors. " , "claim_context" : [ paragraph ]}
}

label ：intailment標籤在{ supported ， partially_supported ， not_supported }中
supporting_sentences ：支持句子的索引列表。所有提供的支撐句子集都是有效的（在上面的示例中， [5, 15]和[5, 17]都被註釋為正確的支持句子集，其中包含相同的信息）。
claim ：威基百科的句子
evidence ：引用網站中的句子清單
meta
- claim_title ：包括claim的Wikipedia頁面的標題
- claim_section ：包括claim的節
- claim_context ： claim之前的句子

不支持的令牌

數據/non_supported_tokens包括用於非支持令牌檢測任務的WICE數據集。我們僅提供註釋為partially_supported子聲明的註釋。我們用低通道協議過濾了數據點（有關詳細信息，請參閱本文）。

{
    "claim" : " Irene Hervey appeared in over fifty films and numerous television series. " ,
    "claim_tokens" : [ " Irene " , " Hervey " , " appeared " , " in " , " over " , " fifty " , " films " , " and " , " numerous " , " television " , " series " , " . " ],
    "non_supported_spans" : [ false , false , false , false , true , true , false , false , false , false , false , false ],
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " test00561-1 " , "claim_title" : " Irene Hervey " , "claim_section" : " Abstract. " , "claim_context" : " Irene Hervey was an American film, stage, and television actress. " }
}

claim_tokens ：索賠中的令牌列表
non_supported_spans ：對應於claim_tokens的bool列表（ true是不支持的令牌）

索賠要求

索賠_split目錄包括索賠分裂的提示，這是一種使用GPT-3分解索賠的方法。在這項工作的實驗中，我們使用不同的數據集使用不同的提示，因此我們為WICE，VITAMINC，PAWS和FRANK（XSUM）提供了提示。

如何在WICE上評估您的模型？

當您在WICE上評估核心分類模型時，除非您的模型可以使用很長的輸入上下文處理，否則您必須從證據文章中檢索證據句子作為第一步。請參閱我們的論文，以獲取評估WICE輸入長度有限的模型的可能方法。

如果評估證據檢索模型，則可以在數據/intailment_retrieval中使用數據。

Oracle檢索數據集

如果您正在尋找簡單的NLI數據集，這些數據集具有不需要任何檢索模型的簡短證據（例如SNLI，MNLI和ANLI），則可以使用我們的Oracle檢索數據集。 Oracle檢索數據集模擬了您具有完美證據檢索模型的情況。當您在此Oracle檢索數據上報告結果時，您需要清楚地提到使用Oracle檢索數據集，而不是原始的WICE數據集。

我們提供了使用GPT-3.5和GPT-4在Oracle檢索數據集上複製實驗的代碼。有關詳細信息，請參閱Code_and_resources/code/readme.md。