gpt 2

Статус: Архив (код предоставляется как есть, обновлений не ожидается)

гпт-2

Код и модели из статьи «Языковые модели — это многозадачные обучающиеся без присмотра».

Вы можете прочитать о GPT-2 и его поэтапном выпуске в нашем оригинальном сообщении в блоге, последующем сообщении через 6 месяцев и последнем сообщении.

Мы также выпустили набор данных для исследователей, чтобы изучить их поведение.

^* Обратите внимание, что исходное количество параметров было неправильным из-за ошибки (в наших предыдущих сообщениях в блоге и статье). Таким образом, вы, возможно, видели маленький размер, называемый 117M, и средний размер, называемый 345M.

Использование

Этот репозиторий призван стать отправной точкой для исследователей и инженеров для экспериментов с GPT-2.

Базовую информацию см. в нашей карточке модели.

Некоторые предостережения

• Надежность моделей GPT-2 и поведение в худшем случае до конца не изучены. Как и в случае с любой моделью машинного обучения, тщательно оцените GPT-2 для вашего варианта использования, особенно если он используется без тонкой настройки или в критически важных для безопасности приложениях, где важна надежность.
• Набор данных, на котором обучались наши модели GPT-2, содержит множество текстов с предвзятостью и фактическими неточностями, и, следовательно, модели GPT-2, вероятно, также будут предвзятыми и неточными.
• Чтобы избежать ошибочного принятия образцов за написанные человеком, мы рекомендуем четко маркировать образцы как синтетические перед их широким распространением. Наши модели часто бессвязны или неточны в некоторых аспектах, и человеку требуется нечто большее, чем беглое чтение.

Работайте с нами

Пожалуйста, дайте нам знать, если вы проводите интересные исследования или работаете над применением GPT-2! Мы особенно заинтересованы в том, чтобы услышать мнение тех, кто учится, и, возможно, работать с ними.

• Потенциальные злонамеренные варианты использования и средства защиты от них (например, возможность обнаружения синтетического текста)
• Степень проблемного контента (например, предвзятости), заложенного в модели, и эффективные меры по его устранению.

Разработка

См. DEVELOPERS.md

Авторы

См. CONTRIBUTORS.md

Цитирование

Пожалуйста, используйте следующую запись bibtex:

 @article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

Будущая работа

Мы можем выпустить код для оценки моделей на различных тестах.

Мы все еще рассматриваем выпуск более крупных моделей.

Лицензия

Модифицированный Массачусетский технологический институт