wice
1.0.0
Ce référentiel contient un ensemble de données et un code pour le papier Wice: Imposition du monde réel pour les réclamations dans Wikipedia (EMNLP 2023).
Auteurs: Ryo Kamoi, Tanya Goyal, Juan Diego Rodriguez, Greg Durrett
@inproceedings { kamoi-etal-2023-wice ,
title = " {W}i{CE}: Real-World Entailment for Claims in {W}ikipedia " ,
author = " Kamoi, Ryo and
Goyal, Tanya and
Rodriguez, Juan and
Durrett, Greg " ,
editor = " Bouamor, Houda and
Pino, Juan and
Bali, Kalika " ,
booktitle = " Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing " ,
month = dec,
year = " 2023 " ,
address = " Singapore " ,
publisher = " Association for Computational Linguistics " ,
url = " https://aclanthology.org/2023.emnlp-main.470 " ,
pages = " 7561--7583 " ,
}Wice est un ensemble de données textuel à grain fin construit sur des paires de revendication et de preuves naturelles extraites de Wikipedia. Compte tenu d'une phrase dans Wikipedia et de l'article correspondant qu'il cite, nous annotons l'étiquette d'importation, une liste de phrases dans les articles cités qui soutiennent la peine de réclamation et les jetons dans la réclamation qui ne sont pas supportées par l'article ( s).
Cet ensemble de données peut être utilisé pour évaluer une variété de tâches, mais est principalement conçu pour trois tâches: la classification d'importance, la récupération des phrases de preuves et la détection de jetons non soutenus.
DATA / ENTALAIMENT_RETRIEVAL inclut l'ensemble de données WICE pour la tâche d'importation et de récupération. DATA / ENTALAIMENT_RETRIEVAL / La revendication comprend des données avec les revendications et données / Entongement_Rerieval / sous-claim comprend des données avec les réclamations décomposées (annotation fine à l'aide de la réclamation).
Chaque sous-répertoire comprend des fichiers JSONL pour les ensembles de train, de développement et de test. Voici un exemple des données dans les fichiers JSONL:
{
"label" : " partially_supported " ,
"supporting_sentences" : [[ 5 , 15 ], [ 15 , 17 ]],
"claim" : " Arnold is currently the publisher and editorial director of Media Play News, one of five Hollywood trades and the only one dedicated to the home entertainment sector. " ,
"evidence" : [ list of evidence sentences ],
"meta" : { "id" : " dev02986 " , "claim_title" : " Roger Hedgecock " , "claim_section" : " Other endeavors. " , "claim_context" : [ paragraph ]}
}label : étiquette d'impression dans { supported , partially_supported , not_supported }supporting_sentences : Liste des indices des phrases de support. Tous les ensembles fournis de phrases à l'appui sont valides (dans l'exemple ci-dessus, [5, 15] et [5, 17] sont annotés comme des ensembles corrects de phrases de support qui incluent les mêmes informations).claim : une phrase de Wikipediaevidence : une liste de phrases dans le site Web citémetaclaim_title : titre de la page wikipedia qui comprend claimclaim_section : section qui comprend claimclaim_context : phrases juste avant claim Data / non_Supported_Tokens inclut l'ensemble de données WICE pour la tâche de détection de jetons non soutenue. Nous fournissons une annotation uniquement pour les sous-réclames qui sont annotés comme partially_supported . Nous avons filtré les points de données avec un accord interannotateur faible (veuillez consulter le document pour plus de détails).
{
"claim" : " Irene Hervey appeared in over fifty films and numerous television series. " ,
"claim_tokens" : [ " Irene " , " Hervey " , " appeared " , " in " , " over " , " fifty " , " films " , " and " , " numerous " , " television " , " series " , " . " ],
"non_supported_spans" : [ false , false , false , false , true , true , false , false , false , false , false , false ],
"evidence" : [ list of evidence sentences ],
"meta" : { "id" : " test00561-1 " , "claim_title" : " Irene Hervey " , "claim_section" : " Abstract. " , "claim_context" : " Irene Hervey was an American film, stage, and television actress. " }
}claim_tokens : liste des jetons dans la réclamationnon_supported_spans : Liste de bool correspondant à claim_tokens ( true est des jetons non soutenus) Le répertoire Rereaden_Split comprend des invites pour la pertinence, une méthode pour décomposer les réclamations en utilisant GPT-3. Nous utilisons différentes invites pour différents ensembles de données dans les expériences de ce travail, nous fournissons donc des invites pour Wice, Vitaminc, Paws et Frank (XSUM).
Lorsque vous évaluez les modèles de classification d'impression sur Wice, à moins que votre modèle ne puisse gérer avec un très long contexte d'entrée, vous devez récupérer des phrases de preuves à partir d'articles de preuve comme première étape. Veuillez vous référer à notre article pour les approches possibles pour évaluer les modèles avec une longueur d'entrée limitée sur Wice.
Si vous évaluez les modèles de récupération de preuves, vous pouvez utiliser les données dans Data / ENTALAIMENT_RETRIEVAL.
Si vous recherchez des ensembles de données NLI simples avec de courtes preuves qui ne nécessitent aucun modèle de récupération (comme SNLI, MNLI et ANLI), vous pouvez utiliser notre ensemble de données de récupération Oracle. L'ensemble de données de récupération d'Oracle simule la situation dans laquelle vous avez un modèle de récupération de preuves parfait. Lorsque vous signalez le résultat sur ces données de récupération Oracle, vous devez mentionner clairement que vous utilisez l'ensemble de données Oracle Retrieval, pas l'ensemble de données WICE d'origine.
Nous fournissons du code pour reproduire notre expérience en utilisant GPT-3.5 et GPT-4 sur l'ensemble de données de récupération Oracle. Veuillez vous référer à Code_and_resources / Code / Readme.md pour plus de détails.
Veuillez vous référer au fichier licidence.md.
