mlmm evaluation

Kerangka Evaluasi Model Bahasa Besar Multibahasa

Ringkasan

Repo ini berisi kumpulan data benchmark dan skrip evaluasi untuk Model Bahasa Besar Multibahasa (LLM). Kumpulan data ini dapat digunakan untuk mengevaluasi model dalam 26 bahasa berbeda dan mencakup tiga tugas berbeda: ARC, HellaSwag, dan MMLU. Ini dirilis sebagai bagian dari kerangka kerja Okapi kami untuk LLM yang disesuaikan dengan instruksi multibahasa dengan pembelajaran penguatan dari umpan balik manusia.

• ARC : Kumpulan data dengan 7.787 pertanyaan sains pilihan ganda tingkat sekolah dasar, yang dikumpulkan untuk mendorong penelitian dalam menjawab pertanyaan tingkat lanjut.
• HellaSwag : HellaSWAG adalah kumpulan data untuk mempelajari inferensi akal sehat. Ini terdiri dari 70 ribu pertanyaan pilihan ganda tentang situasi dasar: setiap pertanyaan berasal dari salah satu dari dua domain aktivitas atau wikihow dengan empat pilihan jawaban tentang apa yang mungkin terjadi selanjutnya dalam adegan tersebut. Jawaban yang benar adalah kalimat (sebenarnya) untuk kejadian selanjutnya; tiga jawaban yang salah dihasilkan secara berlawanan dan diverifikasi oleh manusia, sehingga dapat menipu mesin tetapi tidak menipu manusia.
• MMLU : Dataset ini berisi soal pilihan ganda yang berasal dari berbagai bidang ilmu. Tes ini mencakup mata pelajaran humaniora, ilmu sosial, ilmu alam, dan bidang pembelajaran penting lainnya untuk individu tertentu.

Saat ini, kumpulan data kami mendukung 26 bahasa: Rusia, Jerman, China, Prancis, Spanyol, Italia, Belanda, Vietnam, Indonesia, Arab, Hongaria, Rumania, Denmark, Slovakia, Ukraina, Katalan, Serbia, Kroasia, Hindi, Bengali, Tamil, Nepal, Malayalam, Marathi, Telugu, dan Kannada.

Kumpulan data ini diterjemahkan dari kumpulan data asli ARC, HellaSwag, dan MMLU dalam bahasa Inggris menggunakan ChatGPT. Makalah teknis kami untuk Okapi untuk mendeskripsikan kumpulan data beserta hasil evaluasi untuk beberapa LLM multibahasa (misalnya, BLOOM, LLaMa, dan model Okapi kami) dapat ditemukan di sini.

Pemberitahuan Penggunaan dan Lisensi : Kerangka evaluasi kami ditujukan dan dilisensikan hanya untuk penggunaan penelitian. Kumpulan datanya adalah CC BY NC 4.0 (hanya mengizinkan penggunaan non-komersial) yang tidak boleh digunakan di luar tujuan penelitian.

Memasang

Untuk menginstal lm-eval dari cabang utama repositori kami, jalankan:

git clone https://github.com/nlp-uoregon/mlmm-evaluation.git
cd mlmm-evaluation
pip install -e " .[multilingual] " 

Penggunaan Dasar

Pertama, Anda perlu mengunduh kumpulan data evaluasi multibahasa dengan menggunakan skrip berikut:

bash scripts/download.sh

Untuk mengevaluasi model Anda pada tiga tugas, Anda dapat menggunakan skrip berikut:

bash scripts/run.sh [LANG] [YOUR-MODEL-PATH]

Misalnya, jika Anda ingin mengevaluasi model Okapi Vietnam kami, Anda dapat menjalankan:

bash scripts/run.sh vi uonlp/okapi-vi-bloom

Papan peringkat

Kami memelihara papan peringkat untuk melacak kemajuan LLM multibahasa.

Ucapan Terima Kasih

Kerangka kerja kami sebagian besar diwarisi dari repo lm-evaluation-harness dari EleutherAI. Harap juga mengutip repo mereka jika Anda menggunakan kode tersebut.

Kutipan

Jika Anda menggunakan data, model, atau kode dalam repositori ini, harap kutip:

 @article { dac2023okapi ,
  title = { Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback } ,
  author = { Dac Lai, Viet and Van Nguyen, Chien and Ngo, Nghia Trung and Nguyen, Thuat and Dernoncourt, Franck and Rossi, Ryan A and Nguyen, Thien Huu } ,
  journal = { arXiv e-prints } ,
  pages = { arXiv--2307 } ,
  year = { 2023 }
}