Редактор Downcodes узнал, что Ai2, некоммерческое исследовательское учреждение в области искусственного интеллекта, недавно выпустило новую серию языковых моделей OLMo2, которая является вторым поколением серии «Модель открытого языка» (OLMo). OLMo2 придерживается концепции полностью открытого исходного кода, а его обучающие данные, инструменты и коды полностью открыты. Это особенно важно в современной области искусственного интеллекта и представляет собой новую высоту в разработке искусственного интеллекта с открытым исходным кодом. В отличие от других моделей, претендующих на звание «открытых», OLMo2 строго следует определению Инициативы открытого исходного кода, соответствует строгим стандартам ИИ с открытым исходным кодом и предоставляет сообществу ИИ мощную техническую поддержку и ценные учебные ресурсы.
Ai2, некоммерческая исследовательская организация в области искусственного интеллекта, недавно выпустила новую серию OLMo2, которая представляет собой модель второго поколения серии «Модель открытого языка» (OLMo), выпущенной организацией. Выпуск OLMo2 не только обеспечивает мощную техническую поддержку сообщества искусственного интеллекта, но и представляет собой новейшую разработку искусственного интеллекта с открытым исходным кодом с его полностью открытым исходным кодом.
В отличие от других «открытых» языковых моделей, представленных в настоящее время на рынке, таких как серия Llama от Meta, OLMo2 соответствует строгому определению Open Source Initiative, что означает, что обучающие данные, инструменты и код, используемые для его разработки, являются общедоступными и доступны каждому. использовать. Согласно определению Open Source Initiative, OLMo2 соответствует требованиям организации к стандарту «ИИ с открытым исходным кодом», который был окончательно утвержден в октябре этого года.
Ai2 упомянул в своем блоге, что в процессе разработки OLMo2 все данные обучения, коды, планы обучения, методы оценки и промежуточные контрольные точки были полностью открыты, с целью способствовать инновациям и открытиям в сообществе открытого исходного кода через общие ресурсы. «Открыто делясь нашими данными, решениями и выводами, мы надеемся предоставить сообществу открытого исходного кода ресурсы для открытия новых методов и инновационных технологий».
Серия OLMo2 включает две версии: OLMo7B с 7 миллиардами параметров и OLMo13B с 13 миллиардами параметров. Количество параметров напрямую влияет на производительность модели, а версии с большим количеством параметров обычно справляются с более сложными задачами. OLMo2 хорошо справлялся с обычными текстовыми задачами, будучи в состоянии выполнять такие задачи, как ответы на вопросы, обобщение документов и написание кода.
Примечание к источнику изображения: изображение генерируется искусственным интеллектом и разрешено поставщиком услуг Midjourney.
Для обучения OLMo2 Ai2 использовал набор данных, содержащий пять триллионов токенов. Токен — это наименьшая единица в языковой модели. 1 миллион токенов примерно равен 750 000 слов. Данные для обучения включают контент с высококачественных веб-сайтов, научных статей, дискуссионных форумов вопросов и ответов и рабочих тетрадей по синтетической математике и тщательно отбираются, чтобы обеспечить эффективность и точность модели.
Ai2 уверен в производительности OLMo2, утверждая, что он конкурирует по производительности с моделями с открытым исходным кодом, такими как Llama3.1 от Meta. Ai2 отметил, что производительность OLMo27B даже превзошла Llama3.18B и стала одной из самых сильных полностью открытых языковых моделей на данный момент. Все модели OLMo2 и их компоненты можно бесплатно загрузить через официальный сайт Ai2 и использовать лицензию Apache2.0, что означает, что эти модели можно использовать не только для исследований, но и для коммерческих приложений.
Открытый исходный код OLMo2 будет в значительной степени способствовать открытому сотрудничеству и инновациям в области искусственного интеллекта, предоставляя исследователям и разработчикам более широкое пространство для развития. Мы с нетерпением ожидаем, что OLMo2 принесет больше прорывов и применений в будущем.