aeae

Чрезмерная уверенность перед лицом двусмысленности с помощью состязательных данных

Aeaeaeae

Содержимое

Это репозиторий для статьи:

Чрезмерная уверенность перед лицом двусмысленности с состязательными данными. Маргарет Ли* и Джулиан Майкл,* Труды первого семинара по динамическому сбору данных состязания (DADC) на NAACL 2022.

(Глупая аббревиатура взята из первоначального рабочего названия, «неоднозначная оценка состязательной оценки»)

В этом репозитории:

• aeae/ : исходный код для данных, метрик и т. Д.
• scripts/ : точки входа для запуска прогнозов, оценки и производства участков для нашего анализа.

Ошибка

В статье мы забываем упомянуть, что данные Fever-NLI использовались вместе со SNLI и MNLI для обучения classical модели. Это означает, что classical обучается на все неэдромные данные, на которые были обучены модели семян для ANLI.

Использование

Этот проект требует Python 3 и написан с использованием Allennlp и Pytorch.

Установка рабочей станции:

• Начните с python scripts/download.py из базового каталога для загрузки наборов данных.
• Установите зависимости Python с помощью pip install -r requirements.txt .
• Наборы данных предварительной обработки с python scripts/build_data.py .

К модельному тренажеру, запустите

 MODE=tiny allennlp train config/basic.jsonnet --include-package aeae -o '{"trainer.cuda_device": -1}' -s save/tiny

Это будет обучать модель на крошечную подмножество MNLI с использованием процессора. Соответственно, изменение режима использует различные источники данных (см. Basic.jsonnet). Устройство CUDA определяет, какой GPU используется.

Документация

Примеры NLI предварительно обработаны в следующем формате:

 {
  "uid": String,
  "premise": String,
  "hypothesis": String,
  "label": "e" | "c" | "n"
}

Остальная часть документации - Тодо.