wice

WICE: العالم الحقيقي يستلزم للمطالبات في ويكيبيديا

يحتوي هذا المستودع على مجموعة بيانات ورمز لقلق الورق: استفادة من العالم الحقيقي للمطالبات في ويكيبيديا (EMNLP 2023).

المؤلفون: ريو كاموي ، تانيا غويال ، خوان دييغو رودريغيز ، جريج دوريت

 @inproceedings { kamoi-etal-2023-wice ,
    title = " {W}i{CE}: Real-World Entailment for Claims in {W}ikipedia " ,
    author = " Kamoi, Ryo  and
      Goyal, Tanya  and
      Rodriguez, Juan  and
      Durrett, Greg " ,
    editor = " Bouamor, Houda  and
      Pino, Juan  and
      Bali, Kalika " ,
    booktitle = " Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing " ,
    month = dec,
    year = " 2023 " ,
    address = " Singapore " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://aclanthology.org/2023.emnlp-main.470 " ,
    pages = " 7561--7583 " ,
}

• يتضمن دليل البيانات مجموعة بيانات WICE.
• يتضمن دليل code_and_resources رمز ومخرجات النموذج للتجارب في الورقة. يرجى الرجوع إلى code_and_resources/readMe.md للحصول على التفاصيل.

جدول المحتويات

• مجموعة البيانات
  • الاستفادة والاسترجاع
  • الرموز غير المدعومة
• تقسيم المطالبة
• كيفية تقييم النماذج الخاصة بك على Wice؟
  • Oracle Retrieval Dataset
• رخصة

مجموعة البيانات

Wice عبارة عن مجموعة بيانات نصية نصية دقيقة مبنية على المطالبة الطبيعية وأزواج الأدلة المستخرجة من ويكيبيديا. بالنظر إلى جملة في ويكيبيديا والمقالات (المقالات) المقابلة التي تستشهد بها ، نقوم بتعليق ملصق الاستنزاف ، وقائمة من الجمل في المقالة (المقالات) المذكورة التي تدعم جملة المطالبة ، والرموز في المطالبة غير المدعومة من المقالة ( ق).

يمكن استخدام مجموعة البيانات هذه لتقييم مجموعة متنوعة من المهام ، ولكن تم تصميمها في المقام الأول لثلاث مهام: تصنيف الاستنتاجات واسترجاع جملة الأدلة واكتشاف الرموز غير المدعومة.

الاستفادة والاسترجاع

تتضمن Data/Instailment_RetRieval مجموعة بيانات Wice للاستفادة والاسترجاع. تتضمن البيانات/instailment_retrieval/المطالبة بيانات ذات المطالبات الأصلية والبيانات/Indailment_retrieval/ادعاء فرعي تتضمن بيانات ذات مطالبات متحللة (التعليق التوضيحي الدقيق باستخدام تقسيم المطالبة).

يتضمن كل دليل فرعي ملفات JSONL لمجموعات القطار والدرار والاختبار. فيما يلي مثال على البيانات في ملفات JSONL:

{
    "label" : " partially_supported " ,
    "supporting_sentences" : [[ 5 , 15 ], [ 15 , 17 ]],
    "claim" : " Arnold is currently the publisher and editorial director of Media Play News, one of five Hollywood trades and the only one dedicated to the home entertainment sector. " ,
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " dev02986 " , "claim_title" : " Roger Hedgecock " , "claim_section" : " Other endeavors. " , "claim_context" : [ paragraph ]}
}

• label : تسمية استنزاف في { supported ، partially_supported ، not_supported }
• supporting_sentences : قائمة مؤشرات الجمل الداعمة. جميع مجموعات الجمل الداعمة صالحة (في المثال أعلاه ، يتم شرح كل من [5, 15] و [5, 17] كمجموعات صحيحة من الجمل الداعمة التي تتضمن نفس المعلومات).
• claim : جملة من ويكيبيديا
• evidence : قائمة الجمل في الموقع المذكور
• meta
  • claim_title : عنوان صفحة ويكيبيديا تتضمن claim
  • claim_section : القسم يتضمن claim
  • claim_context : جمل قبل claim مباشرة

الرموز غير المدعومة

تتضمن البيانات/non_supported_tokens مجموعة بيانات WICE لمهمة اكتشاف الرموز غير المدعومة. نحن نقدم فقط التعليقات التوضيحية للالتماسات الفرعية التي يتم تعليقها على أنها partially_supported . لقد قمنا بتصفية نقاط البيانات مع اتفاقية منخفضة inter-annotator (يرجى الرجوع إلى الورقة للحصول على التفاصيل).

{
    "claim" : " Irene Hervey appeared in over fifty films and numerous television series. " ,
    "claim_tokens" : [ " Irene " , " Hervey " , " appeared " , " in " , " over " , " fifty " , " films " , " and " , " numerous " , " television " , " series " , " . " ],
    "non_supported_spans" : [ false , false , false , false , true , true , false , false , false , false , false , false ],
    "evidence" : [ list of evidence sentences ],
    "meta" : { "id" : " test00561-1 " , "claim_title" : " Irene Hervey " , "claim_section" : " Abstract. " , "claim_context" : " Irene Hervey was an American film, stage, and television actress. " }
}

• claim_tokens : قائمة الرموز في المطالبة
• non_supported_spans : قائمة بول المقابلة لـ claim_tokens ( true هو الرموز غير المدعومة)

تقسيم المطالبة

يتضمن دليل Print_split مطالبات لتقسيم المطالبة ، وهي طريقة لتحلل المطالبات باستخدام GPT-3. نحن نستخدم مطالبات مختلفة لمجموعات البيانات المختلفة في التجارب في هذا العمل ، لذلك نحن نقدم مطالبات للحيوية ، Vitaminc ، PAWS ، و Frank (XSUM).

كيفية تقييم النماذج الخاصة بك على Wice؟

عندما تقوم بتقييم نماذج تصنيف الاستفادة من Wice ، ما لم يتمكن النموذج من التعامل مع سياق إدخال طويل جدًا ، يجب عليك استرداد جمل الأدلة من مقالات الأدلة كخطوة أولى. يرجى الرجوع إلى ورقتنا للحصول على النهج المحتملة لتقييم النماذج ذات طول الإدخال المحدود على WICE.

إذا قمت بتقييم نماذج استرجاع الأدلة ، فيمكنك استخدام البيانات في البيانات/indailment_retrival.

Oracle Retrieval Dataset

إذا كنت تبحث عن مجموعات بيانات NLI بسيطة مع أدلة قصيرة لا تتطلب أي نماذج استرجاع (مثل SNLI و MNLI و ANLI) ، فيمكنك استخدام مجموعة بيانات Oracle Retrieval الخاصة بنا. تحاكي مجموعة بيانات Oracle Retrieval الموقف الذي لديك نموذج استرجاع مثالي للاسترجاع. عندما تقوم بالإبلاغ عن النتيجة في بيانات استرجاع Oracle هذه ، تحتاج إلى ذكر بوضوح أنك تستخدم مجموعة بيانات Oracle Retrieval ، وليس مجموعة بيانات Wice الأصلية.

نحن نقدم رمزًا لإعادة إنتاج تجربتنا باستخدام GPT-3.5 و GPT-4 على مجموعة بيانات Oracle Retrieval. يرجى الرجوع إلى code_and_resources/code/readMe.md للحصول على التفاصيل.

رخصة

يرجى الرجوع إلى ملف الترخيص.