wiceダウンロードwiceソースコードのダウンロード

wice

その他のソースコード

1.0.0

ダウンロード

WICE：ウィキペディアの請求に対する実世界の巻き込み

このリポジトリには、Paper Wiceのデータセットとコードが含まれています。ウィキペディア（EMNLP 2023）の請求に対する実世界の巻き込みが含まれています。

著者：Ryo Kamoi、Tanya Goyal、Juan Diego Rodriguez、Greg Durrett

 @inproceedings { kamoi-etal-2023-wice ,
    title = " {W}i{CE}: Real-World Entailment for Claims in {W}ikipedia " ,
    author = " Kamoi, Ryo  and
      Goyal, Tanya  and
      Rodriguez, Juan  and
      Durrett, Greg " ,
    editor = " Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika " ,
    booktitle = " Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing " ,
    month = dec,
    year = " 2023 " ,
    address = " Singapore " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2023.emnlp-main.470 " ,
    pages = " 7561--7583 " ,
}

データディレクトリには、WICEデータセットが含まれます。
code_and_resourcesディレクトリには、ペーパー内の実験のコードとモデル出力が含まれています。詳細については、code_and_resources/readme.mdを参照してください。

WiCE Dataset

Wiceは、ウィキペディアから抽出された自然の主張と証拠ペアに基づいて構築された、きめの細かいテキスト係数データセットです。ウィキペディアとそれが引用する対応する記事での文が与えられた場合、我々は伴うラベル、クレーム文をサポートする引用された記事の文のリスト、および記事によってサポートされていないクレームのトークンに注釈を付けました（ s）。

このデータセットは、さまざまなタスクを評価するために使用できますが、主に3つのタスクのために設計されています。

含意と検索

data/entainment_retrievalには、同意および検索タスクのためのWICEデータセットが含まれています。 data/entainment_retrieval/クレームには、元のクレームとdata/entainment_retrieval/subclaimが含まれているデータが含まれています。

各サブディレクトリには、列車、開発、テストセット用のJSONLファイルが含まれています。 JSONLファイルのデータの例は次のとおりです。

{
    "label" : " partially_supported " ,
    "supporting_sentences" : [[ 5 , 15 ], [ 15 , 17 ]],
    "claim" : " Arnold is currently the publisher and editorial director of Media Play News, one of five Hollywood trades and the only one dedicated to the home entertainment sector. " ,
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " dev02986 " , "claim_title" : " Roger Hedgecock " , "claim_section" : " Other endeavors. " , "claim_context" : [ paragraph ]}
}

label ：{ supported 、 partially_supported 、 not_supported }の含意ラベル}
supporting_sentences ：サポート文のインデックスのリスト。提供されたすべてのサポート文のセットは有効です（上記の例では、 [5, 15]と[5, 17]の両方に、同じ情報を含むサポート文の正しいセットとして注釈が付けられています）。
claim : A sentence from Wikipedia
evidence ：引用されたウェブサイトの文のリスト
meta
- claim_title ： claimを含むウィキペディアページのタイトル
- claim_section ： claimを含むセクション
- claim_context ： claimの直前の文

サポートされていないトークン

データ/non_supported_tokensには、サポートされていないトークン検出タスク用のWICEデータセットが含まれています。 We only provide annotation for sub-claims that are annotated as partially_supported .アノテーター間契約が低いデータポイントを除外しました（詳細については、論文を参照してください）。

{
    "claim" : " Irene Hervey appeared in over fifty films and numerous television series. " ,
    "claim_tokens" : [ " Irene " , " Hervey " , " appeared " , " in " , " over " , " fifty " , " films " , " and " , " numerous " , " television " , " series " , " . " ],
    "non_supported_spans" : [ false , false , false , false , true , true , false , false , false , false , false , false ],
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " test00561-1 " , "claim_title" : " Irene Hervey " , "claim_section" : " Abstract. " , "claim_context" : " Irene Hervey was an American film, stage, and television actress. " }
}

claim_tokens ：クレーム内のトークンのリスト
non_supported_spans ： claim_tokensに対応するブールのリスト（ trueはサポートされていないトークンです）

クレームスプリット

請求_Splitディレクトリには、GPT-3を使用してクレームを分解する方法であるクレームスプリットのプロンプトが含まれています。この作業の実験では、さまざまなデータセットに異なるプロンプトを使用しているため、Wice、Vitaminc、Paws、およびFrank（XSUM）のプロンプトを提供します。

Wiceでモデルを評価する方法は？

WICEで密接な分類モデルを評価する場合、モデルが非常に長い入力コンテキストで処理できない限り、証拠記事から証拠文を最初のステップとして取得する必要があります。 WICEでの入力長が限られているモデルを評価するための可能なアプローチについては、私たちの論文を参照してください。

証拠検索モデルを評価する場合、データ/entainment_retrievalでデータを使用できます。

Oracle Retrieval Dataset

検索モデル（SNLI、MNLI、ANLIなど）を必要としない短い証拠を持つ簡単なNLIデータセットを探している場合は、Oracle検索データセットを使用できます。 The oracle retrieval dataset simulates the situation that you have a perfect evidence retrieval model.このOracle検索データで結果を報告する場合、元のWICEデータセットではなくOracle検索データセットを使用することを明確に言及する必要があります。

Oracle回収データセットでGPT-3.5とGPT-4を使用して、実験を再現するためのコードを提供します。詳細については、code_and_resources/code/readme.mdを参照してください。