factor

FAKTOR

Repo ini berisi data dari tolok ukur makalah AI21 Labs untuk evaluasi faktualitas model bahasa.

Data

Kami menyertakan tolok ukur faktor berikut untuk mengevaluasi faktualitas model bahasa:

• Wiki-Factor: Berdasarkan bagian Wikipedia dari tumpukan) validasi split. Dataset terdiri dari 2994 contoh.
• Faktor Berita: Berdasarkan artikel Reuters yang diekstraksi dari dataset RefinedWeb. Dataset terdiri dari 1036 contoh.
• Faktor ahli: Berdasarkan validasi dan pemisahan tes ExpertQA, dataset penjawab pertanyaan yang panjang. Benchmark terdiri dari 236 contoh.

Evaluasi

Pengaturan

Untuk menginstal pustaka yang diperlukan di repo kami, jalankan:

pip install -r requirements.txt

Untuk memiliki versi Pytorch khusus untuk CUDA Anda, instal versi Anda sebelum menjalankan perintah di atas.

Daftar Model Bahasa

Di koran, kami memberikan hasil untuk model berikut (ganti $MODEL_NAME dengan salah satunya).

• GPT-2: gpt2 , gpt2-medium , gpt2-large , gpt2-xl
• GPT-NEO: EleutherAI/gpt-neo-1.3B , EleutherAI/gpt-neo-2.7B , EleutherAI/gpt-j-6B
• Opt: facebook/opt-125m , facebook/opt-350m , Facebook/ facebook/opt-2.7b facebook/opt-1.3b , Facebook/Opt-2.7b, facebook/opt-6.7b , facebook/opt-13b , facebook/opt-30b , facebook/opt-66b

Skrip evaluasi

Untuk menjalankan evaluasi pada model atas set data faktor, silakan gunakan perintah berikut:

python python eval_factuality.py 
--data_file ./data/wiki_factor.csv 
--output_folder $OUTPUT_DIR 
--model_name $MODEL_NAME 

Lisensi

• wiki_factor , expert_factor dan kode: dirilis di bawah lisensi MIT.
• news_factor : Benchmark berasal dari dataset RefinedWeb. Ekstrak publik tersedia di bawah lisensi ODC-by 1.0; Pengguna juga harus tinggal di CommonCrawl TOU: https://commoncrawl.org/terms-of-use/.

Kutipan

Jika Anda menemukan kertas atau kode kami bermanfaat, silakan kutip kertas kami:

 @article{muhlgay2023generating,
  title={Generating benchmarks for factuality evaluation of language models},
  author={Muhlgay, Dor and Ram, Ori and Magar, Inbal and Levine, Yoav and Ratner, Nir and Belinkov, Yonatan and Abend, Omri and Leyton-Brown, Kevin and Shashua, Amnon and Shoham, Yoav},
  journal={arXiv preprint arXiv:2307.06908},
  year={2023}
}