mlmm evaluation

Cadre d'évaluation pour les grands modèles linguistiques multilingues

Aperçu

Ce référentiel contient des ensembles de données de référence et des scripts d'évaluation pour les grands modèles linguistiques multilingues (LLM). Ces ensembles de données peuvent être utilisés pour évaluer les modèles dans 26 langages différents et englobent trois tâches distinctes : ARC, HellaSwag et MMLU. Ceci est publié dans le cadre de notre cadre Okapi pour les LLM multilingues adaptés à l'enseignement avec un apprentissage par renforcement à partir des commentaires humains.

• ARC : un ensemble de données comprenant 7 787 véritables questions scientifiques à choix multiples de niveau scolaire, rassemblées pour encourager la recherche sur les questions-réponses avancées.
• HellaSwag : HellaSWAG est un ensemble de données permettant d'étudier l'inférence fondée sur le bon sens. Il se compose de 70 000 questions à choix multiples sur des situations concrètes : chaque question provient de l'un des deux domaines Activitynet ou Wikihow avec quatre choix de réponses sur ce qui pourrait se passer ensuite dans la scène. La bonne réponse est la (vraie) phrase du prochain événement ; les trois réponses incorrectes sont générées de manière contradictoire et vérifiées par des humains, de manière à tromper les machines mais pas les humains.
• MMLU : Cet ensemble de données contient des questions à choix multiples dérivées de divers domaines de connaissances. Le test couvre des matières dans les domaines des sciences humaines, des sciences sociales, des sciences dures et d'autres domaines d'apprentissage essentiels pour certaines personnes.

Actuellement, nos ensembles de données prennent en charge 26 langues : russe, allemand, chinois, français, espagnol, italien, néerlandais, vietnamien, indonésien, arabe, hongrois, roumain, danois, slovaque, ukrainien, catalan, serbe, croate, hindi, bengali, tamoul, Népalais, malayalam, marathi, telugu et kannada.

Ces ensembles de données sont traduits à partir des ensembles de données originaux ARC, HellaSwag et MMLU en anglais à l'aide de ChatGPT. Notre document technique pour Okapi décrivant les ensembles de données ainsi que les résultats d'évaluation de plusieurs LLM multilingues (par exemple, BLOOM, LLaMa et nos modèles Okapi) peuvent être trouvés ici.

Avis d'utilisation et de licence : notre cadre d'évaluation est destiné et sous licence à un usage de recherche uniquement. Les ensembles de données sont CC BY NC 4.0 (autorisant uniquement une utilisation non commerciale) et ne doivent pas être utilisés en dehors des fins de recherche.

Installer

Pour installer lm-eval à partir de la branche principale de notre référentiel, exécutez :

git clone https://github.com/nlp-uoregon/mlmm-evaluation.git
cd mlmm-evaluation
pip install -e " .[multilingual] " 

Utilisation de base

Tout d'abord, vous devez télécharger les ensembles de données d'évaluation multilingues à l'aide du script suivant :

bash scripts/download.sh

Pour évaluer votre modèle sur trois tâches, vous pouvez utiliser le script suivant :

bash scripts/run.sh [LANG] [YOUR-MODEL-PATH]

Par exemple, si vous souhaitez évaluer notre modèle Okapi vietnamien, vous pouvez exécuter :

bash scripts/run.sh vi uonlp/okapi-vi-bloom

Classement

Nous maintenons un classement pour suivre les progrès du LLM multilingue.

Remerciements

Notre framework a largement hérité du dépôt lm-evaluation-harness d'EleutherAI. Veuillez également citer leur dépôt si vous utilisez le code.

Citation

Si vous utilisez les données, le modèle ou le code de ce référentiel, veuillez citer :

 @article { dac2023okapi ,
  title = { Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback } ,
  author = { Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu } ,
  journal = { arXiv e-prints } ,
  pages = { arXiv--2307 } ,
  year = { 2023 }
}