Институт искусственного интеллекта Аллена в сотрудничестве с рядом университетов совместно выпустил первую в мире крупномасштабную языковую модель OLMo с полностью открытым исходным кодом. Это знаменует собой важную веху в области искусственного интеллекта и будет способствовать развитию технологий больших моделей, которые будут более прозрачными и открытыми. OLMo включает в себя веса модели, код, наборы данных и полный процесс обучения. Версия с параметрами 7B хорошо справляется с множеством задач. Кроме того, исследовательская группа также раскрыла набор данных для предварительного обучения Dolma и предоставила инструменты сопоставления и анализа данных для максимизации прозрачности данных, что имеет далеко идущее значение для продвижения исследований и применения больших языковых моделей в научных кругах и промышленности.
Институт искусственного интеллекта Аллена и несколько университетов выпустили первую в мире большую модель OLMo со 100% открытым исходным кодом, включая веса, коды, наборы данных и весь процесс обучения. Оценка производительности показывает, что ОЛМо-7Б немного превосходит во многих задачах. В то же время исследователи раскрыли набор данных для предварительного обучения Долма, чтобы способствовать открытым исследованиям в области предварительного обучения языковой модели. С точки зрения прозрачности данных предоставляются инструменты сопоставления данных и инструменты анализа.
Выпуск OLMo с открытым исходным кодом не только снижает порог крупных модельных исследований, но также предоставляет ценные ресурсы глобальному сообществу искусственного интеллекта, предвещая появление более открытой и совместной экосистемы искусственного интеллекта. Ожидается, что в будущем мы увидим появление новых инновационных приложений и результатов исследований на основе OLMo.