mlmm evaluation

إطار التقييم لنماذج اللغات الكبيرة متعددة اللغات

ملخص

يحتوي هذا الريبو على مجموعات بيانات مرجعية ونصوص تقييمية لنماذج اللغات الكبيرة متعددة اللغات (LLMs). يمكن استخدام مجموعات البيانات هذه لتقييم النماذج عبر 26 لغة مختلفة وتشمل ثلاث مهام متميزة: ARC وHellaSwag وMMLU. تم إصدار هذا كجزء من إطار عمل Okapi الخاص بنا للحصول على LLMs المضبوطة للتعليمات متعددة اللغات مع التعلم المعزز من التعليقات البشرية.

• ARC : مجموعة بيانات تحتوي على 7,787 مستوى دراسي حقيقي، وأسئلة علمية متعددة الاختيارات، تم تجميعها لتشجيع البحث في مجال الإجابة على الأسئلة المتقدمة.
• HellaSwag : HellaSWAG هي مجموعة بيانات لدراسة الاستدلال المنطقي. يتكون من 70 ألف سؤال متعدد الاختيارات حول المواقف المؤرضة: يأتي كل سؤال من أحد المجالين Activitynet أو wikihow مع أربعة اختيارات للإجابة حول ما قد يحدث بعد ذلك في المشهد. الإجابة الصحيحة هي الجملة (الحقيقية) للحدث التالي؛ يتم إنشاء الإجابات الثلاثة غير الصحيحة بشكل عدائي ويتم التحقق منها من قبل الإنسان، وذلك لخداع الآلات وليس البشر.
• MMLU : تحتوي مجموعة البيانات هذه على أسئلة الاختيار من متعدد المستمدة من مجالات المعرفة المتنوعة. يغطي الاختبار موضوعات في العلوم الإنسانية، والعلوم الاجتماعية، والعلوم الصعبة، وغيرها من مجالات التعلم الأساسية لبعض الأفراد.

حاليًا، تدعم مجموعات البيانات لدينا 26 لغة: الروسية، الألمانية، الصينية، الفرنسية، الإسبانية، الإيطالية، الهولندية، الفيتنامية، الإندونيسية، العربية، المجرية، الرومانية، الدانمركية، السلوفاكية، الأوكرانية، الكاتالونية، الصربية، الكرواتية، الهندية، البنغالية، التاميلية، النيبالية والمالايالامية والماراثية والتيلجو والكانادا.

تتم ترجمة مجموعات البيانات هذه من مجموعات بيانات ARC وHellaSwag وMMLU الأصلية باللغة الإنجليزية باستخدام ChatGPT. يمكن العثور هنا على ورقتنا الفنية الخاصة بـ Okapi لوصف مجموعات البيانات بالإضافة إلى نتائج التقييم للعديد من شهادات LLM متعددة اللغات (على سبيل المثال، BLOOM وLLaMa ونماذج Okapi الخاصة بنا).

إشعارات الاستخدام والترخيص : إطار التقييم الخاص بنا مخصص ومرخص للاستخدام البحثي فقط. مجموعات البيانات هي CC BY NC 4.0 (تسمح بالاستخدام غير التجاري فقط) ولا ينبغي استخدامها خارج أغراض البحث.

ثَبَّتَ

لتثبيت lm-eval من الفرع الرئيسي لمستودعنا، قم بتشغيل:

git clone https://github.com/nlp-uoregon/mlmm-evaluation.git
cd mlmm-evaluation
pip install -e " .[multilingual] " 

الاستخدام الأساسي

أولاً، تحتاج إلى تنزيل مجموعات بيانات التقييم متعددة اللغات باستخدام البرنامج النصي التالي:

bash scripts/download.sh

لتقييم النموذج الخاص بك في ثلاث مهام، يمكنك استخدام البرنامج النصي التالي:

bash scripts/run.sh [LANG] [YOUR-MODEL-PATH]

على سبيل المثال، إذا كنت تريد تقييم نموذج Okapi الفيتنامي، فيمكنك تشغيل:

bash scripts/run.sh vi uonlp/okapi-vi-bloom

المتصدرين

نحن نحتفظ بلوحة المتصدرين لتتبع التقدم المحرز في LLM متعدد اللغات.

شكر وتقدير

لقد ورث إطار عملنا إلى حد كبير من مستودع تقييم lm-evaluation-harness repo من EleutherAI. يرجى أيضًا الإشارة إلى الريبو الخاص بهم إذا كنت تستخدم الرمز.

الاقتباس

إذا كنت تستخدم البيانات أو النموذج أو الكود الموجود في هذا المستودع، فيرجى الاستشهاد بما يلي:

 @article { dac2023okapi ,
  title = { Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback } ,
  author = { Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu } ,
  journal = { arXiv e-prints } ,
  pages = { arXiv--2307 } ,
  year = { 2023 }
}