wice
1.0.0
Dieses Repository enthält Datensatz und Code für die Papier-Wice: Real-World Botment für Ansprüche in Wikipedia (EMNLP 2023).
Autoren: Ryo Kamoi, Tanya Goyal, Juan Diego Rodriguez, Greg Durrett
@inproceedings { kamoi-etal-2023-wice ,
title = " {W}i{CE}: Real-World Entailment for Claims in {W}ikipedia " ,
author = " Kamoi, Ryo and
Goyal, Tanya and
Rodriguez, Juan and
Durrett, Greg " ,
editor = " Bouamor, Houda and
Pino, Juan and
Bali, Kalika " ,
booktitle = " Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing " ,
month = dec,
year = " 2023 " ,
address = " Singapore " ,
publisher = " Association for Computational Linguistics " ,
url = " https://aclanthology.org/2023.emnlp-main.470 " ,
pages = " 7561--7583 " ,
}WICE ist ein feinkörniger Text, der auf natürlichen Behauptungen und Evidenzpaaren aus Wikipedia entsteht. Angesichts eines Urteils in Wikipedia und den entsprechenden Artikeln (en) kommentieren wir das Einsatzetikett, eine Liste von Sätzen in den zitierten Artikeln (en), die den Anspruchssatz stützen, und Token in der Behauptung, die durch den Artikel nicht unterstützt werden (((n) ((n) (n), die den Anspruchssatz stützen, und die von dem Artikel nicht unterstützt werden (((n) ((n) (n) (en), die vom Artikel nicht unterstützt werden (( S).
Dieser Datensatz kann verwendet werden, um eine Vielzahl von Aufgaben zu bewerten, ist jedoch hauptsächlich für drei Aufgaben konzipiert: die Klassifizierung von Evidenz, Abrufen von Evidenz und nicht unterstützte Token-Erkennung.
Data/Entailment_retrieval enthält den WICE -Datensatz für die Ein- und Abrufaufgabe. Daten/Entensimpuls_retrieval/Claim enthält Daten mit den ursprünglichen Ansprüchen und Daten/Einsendungen_Retrieval/SubClaim enthalten Daten mit den zerlegten Ansprüchen (feindliche Annotation unter Verwendung von Anspruchssplit).
Jedes Unterverzeichnis enthält JSONL-Dateien für Zug-, Entwickler- und Testsätze. Hier ist ein Beispiel für die Daten in den JSONL -Dateien:
{
"label" : " partially_supported " ,
"supporting_sentences" : [[ 5 , 15 ], [ 15 , 17 ]],
"claim" : " Arnold is currently the publisher and editorial director of Media Play News, one of five Hollywood trades and the only one dedicated to the home entertainment sector. " ,
"evidence" : [ list of evidence sentences ],
"meta" : { "id" : " dev02986 " , "claim_title" : " Roger Hedgecock " , "claim_section" : " Other endeavors. " , "claim_context" : [ paragraph ]}
}label : Einsatzetikett in { supported , partially_supported , not_supported }supporting_sentences : Liste der Indizes der unterstützenden Sätze. Alle bereitgestellten Sätze von unterstützenden Sätzen sind gültig (im obigen Beispiel [5, 15] und [5, 17] werden als korrekte Sätze unterstützender Sätze mit denselben Informationen kommentiert).claim : ein Urteil aus Wikipediaevidence : Eine Liste von Sätzen auf der zitierten Websitemetaclaim_title : Titel der Wikipedia -Seite, die claim enthältclaim_section : Abschnitt mit claimclaim_context : Sätze kurz vor claim Daten/non_supported_tokens enthält den WICE-Datensatz für nicht unterstützte Token-Erkennungsaufgaben. Wir bieten nur Annotation für Unterabrechnungen an, die als partially_supported unterstützt kommentiert werden. Wir haben Datenpunkte mit niedriger Inter-Annotator-Vereinbarung herausgefiltert (finden Sie in der Zeitung für Einzelheiten).
{
"claim" : " Irene Hervey appeared in over fifty films and numerous television series. " ,
"claim_tokens" : [ " Irene " , " Hervey " , " appeared " , " in " , " over " , " fifty " , " films " , " and " , " numerous " , " television " , " series " , " . " ],
"non_supported_spans" : [ false , false , false , false , true , true , false , false , false , false , false , false ],
"evidence" : [ list of evidence sentences ],
"meta" : { "id" : " test00561-1 " , "claim_title" : " Irene Hervey " , "claim_section" : " Abstract. " , "claim_context" : " Irene Hervey was an American film, stage, and television actress. " }
}claim_tokens : Liste der Token im Anspruchnon_supported_spans : Liste der Bool entspricht claim_tokens ( true ist nicht unterstützte Token) Das Anspruchsverzeichnis für Anspruchs-Verzeichnis enthält Eingabeaufforderungen für Anspruchssplit, eine Methode, um Ansprüche unter Verwendung von GPT-3 zu zersetzen. In den Experimenten in dieser Arbeit verwenden wir verschiedene Eingabeaufforderungen für verschiedene Datensätze, sodass wir Aufforderungen für Wice, Vitaminc, Pfoten und Frank (XSUM) bereitstellen.
Wenn Sie die Modelle der Konzernklassifizierung auf WCEs bewerten, es sei denn, Ihr Modell kann mit einem sehr langen Eingabegestand umgehen, müssen Sie Beweissätze aus Beweisartikeln als erster Schritt abrufen. In unserem Artikel finden Sie in unserem Papier für mögliche Ansätze zur Bewertung von Modellen mit begrenzter Eingangslänge für Weinen.
Wenn Sie Evidenz -Abrufmodelle bewerten, können Sie die Daten in Daten/Entensiver_Retrieval verwenden.
Wenn Sie nach einfachen NLI -Datensätzen mit kurzen Beweisen suchen, für die keine Abrufmodelle (wie SNLI, MNLI und ANLI) erforderlich sind, können Sie unseren Oracle -Abrufdatensatz verwenden. Der Oracle Retrieval Dataset simuliert die Situation, in der Sie ein perfektes Evidenz -Abrufmodell haben. Wenn Sie das Ergebnis über diese Oracle -Abrufdaten melden, müssen Sie deutlich erwähnen, dass Sie den Oracle -Abrufdatensatz verwenden, nicht den ursprünglichen Wice -Datensatz.
Wir bieten Code für die Reproduktion unseres Experiments mit GPT-3.5 und GPT-4 im Oracle Abruf-Datensatz. Weitere Informationen finden Sie unter code_and_resources/code/readme.md.
Bitte beachten Sie die Datei licence.md.
