factor

Фактор

Этот репо содержит данные из образовательных показателей бумаги AI21 Labs для оценки фактической оценки языковых моделей.

Данные

Мы включаем следующие критерии фактора для оценки фактической жизни языковых моделей:

• Вики-фактор: на основе разделения Википедии в сделе) разделение валидации. Набор данных состоит из 2994 примеров.
• Фактор новостей: на основе статей Reuters, извлеченных из набора данных RefinedWeb. Набор данных состоит из 1036 примеров.
• Экспертный фактор: на основе проверки и тестов Splits of ExpertQA, набора данных, отвечающего за вопрос, давно отвечающим вопросам. Трингум состоит из 236 примеров.

Оценка

Настраивать

Чтобы установить необходимые библиотеки в нашем репо, запустите:

pip install -r requirements.txt

Чтобы иметь версию Pytorch, специфичную для вашей CUDA, установите свою версию перед выполнением вышеуказанной команды.

Список языковых моделей

В статье мы даем результаты для следующих моделей (замените $MODEL_NAME на один из них).

• GPT-2: gpt2 , gpt2-medium , gpt2-large , gpt2-xl
• Gpt-neo: EleutherAI/gpt-neo-1.3B , EleutherAI/gpt-neo-2.7B , EleutherAI/gpt-j-6B
• Опт: facebook/opt-125m , facebook/opt-350m , facebook/opt-1.3b , Facebook facebook/opt-2.7b , facebook/opt-6.7b , facebook/opt-13b , facebook/opt-30b , facebook/opt-66b

Оценка сценария

Чтобы запустить оценку на моделях по наборам данных факторных данных, используйте следующую команду:

python python eval_factuality.py 
--data_file ./data/wiki_factor.csv 
--output_folder $OUTPUT_DIR 
--model_name $MODEL_NAME 

Лицензия

• wiki_factor , expert_factor и код: выпущен по лицензии MIT.
• news_factor : эталон получен из набора данных RefinedWeb. Публичный выдержка предоставляется по лицензии ODC-BY 1.0; Пользователи также должны соблюдать Commoncrawl Tou: https://commoncrawl.org/terms-of-use/.

Цитирование

Если вы найдете нашу газету или код полезными, пожалуйста, укажите нашу статью:

 @article{muhlgay2023generating,
  title={Generating benchmarks for factuality evaluation of language models},
  author={Muhlgay, Dor and Ram, Ori and Magar, Inbal and Levine, Yoav and Ratner, Nir and Belinkov, Yonatan and Abend, Omri and Leyton-Brown, Kevin and Shashua, Amnon and Shoham, Yoav},
  journal={arXiv preprint arXiv:2307.06908},
  year={2023}
}