Непреодолимый исследовательский институт искусственного интеллекта AI2 выпустил свою новую серию OLMO2 с открытым языком. OLMO2 строго следует за определением инициативы открытого кода, и все учебные данные, инструменты и код доступны. Движение AI2 направлено на продвижение инноваций и развития сообщества с открытым исходным кодом и предоставления глобальным разработчикам сильной технической поддержки и платформ обмена ресурсами.
В отличие от серии Llama других «открытых» языковых моделей на рынке, таких как серия Meta Llama, OLMO2 соответствует строгому определению инициативы с открытым исходным кодом, что означает, что данные обучения, инструменты и код, используемые для их разработки открыты. Согласно определению Ассоциации поощрения с открытым исходным кодом, OLMO2 соответствует требованиям агентства для стандарта «AI с открытым исходным кодом».
В своем блоге AI2 упомянул, что во время разработки OLMO2 все данные обучения, код, схемы обучения, методы оценки и промежуточные проверки были полностью открыты, и цель обмена ресурсами для содействия инновациям и обнаружению сообществ с открытым исходным кодом. «Публично обмениваясь нашими данными, решениями и обнаружением, мы надеемся предоставить новые методы и инновационные технологии для сообщества с открытым исходным кодом».
Серия OLMO2 включает в себя две версии: одна - OLMO7B с 7 миллиардами параметров, а другая - OLMO13B с 13 миллиардами параметров. Количество параметров напрямую влияет на производительность модели. В общих текстовых задачах OLMO2 работал хорошо и может выполнять такие задачи, как отвечать на вопросы, суммирование документов и написание кода.
Для обучения OLMO2 AI2 использует набор данных, содержащий 5 триллионов токена. Токен является наименьшей единицей в языковой модели, а 1 миллион токенов - около 750 000 слов. Данные обучения включают в себя содержание высококачественных сайтов, академических документов, дискуссионных досок и синтетических математики.
AI2 уверен в производительности OLMO2, утверждая, что он конкурировал с моделями с открытым исходным кодом, такими как Meta's Llama3.1 с точки зрения производительности. AI2 отметил, что производительность OLMO27B даже превзошла Llama3.18b, став одной из самых сильных и открытых языковых моделей в настоящее время. Все модели OLMO2 и их компоненты могут быть загружены бесплатно через официальный веб -сайт AI2 и следить за лицензией Apache2.0, что означает, что эти модели могут использоваться не только для исследований, но и для коммерческих приложений.
Характеристики OLMO2 с открытым исходным кодом и его превосходные результаты принесли новые возможности для разработки искусственного интеллекта.