IBM недавно выпустила версию 3.1 своей языковой модели с открытым исходным кодом Granite, которая имеет значительные улучшения в архитектуре и производительности. Granite 3.1 более способен обрабатывать текст и код, чем предыдущие версии, может обрабатывать до 128 000 токенов одновременно и поддерживает 12 языков и 116 языков программирования. Эта модель хорошо справляется с такими задачами, как извлечение информации, обобщение документов, а также вопросы и ответы на основе внешних данных, предоставляя разработчикам более мощные инструменты для поддержки различных сценариев приложений.
Недавно IBM объявила о выпуске версии 3.1 своей языковой модели с открытым исходным кодом Granite. Это обновление содержит множество важных улучшений. Новая версия модели получила более плотную архитектуру и способна обрабатывать до 128 000 токенов одновременно. Это обновление означает, что возможности Granite обрабатывать сложный текст и задачи значительно улучшены.
Модели Granite версии 3.1 были обучены на наборах данных из 12 языков и 116 языков программирования, обработав в общей сложности 12 триллионов токенов. Благодаря этому модель лучше справляется с пониманием и генерацией языка и может лучше удовлетворять потребности пользователей. IBM заявляет, что новые модели особенно хороши для таких задач, как ответы на вопросы с использованием внешних данных (RAG), извлечение информации из неструктурированного текста и создание сводок документов.
Теперь разработчики могут получить доступ к этим моделям через платформу Hugging Face, обеспечивающую мощную поддержку различных сценариев применения. Первоначально Granite был запущен в мае 2024 года, и это обновление отмечает непрерывный прогресс и инновации IBM в области искусственного интеллекта с открытым исходным кодом.
Модель IBM Granite — это не только техническое усовершенствование, но и предоставление разработчикам и предприятиям более гибких и мощных инструментов, позволяющих более эффективно обрабатывать и анализировать данные. Поскольку технологии искусственного интеллекта продолжают развиваться, модель Granite будет продолжать играть важную роль, помогая различным отраслям достичь цифровой трансформации.
Благодаря этой серии улучшений IBM надеется привлечь больше разработчиков к участию в сообществе открытого исходного кода и совместному продвижению разработки технологий искусственного интеллекта. Выпуск Granite3.1 — это не только технологический скачок, но и позитивный стимул для будущих исследований языковых моделей.
Вход в проект: https://huggingface.co/collections/ibm-granite/granite-31-language-models-6751dbbf2f3389bec5c6f02d
Основные моменты:
Новая модель Granite3.1 была переработана для обработки до 128 000 токенов.
Данные обучения модели охватывают 12 языков и 116 языков программирования, обрабатывая в общей сложности 12 триллионов токенов.
Разработчики могут получить доступ к этим мощным языковым моделям с открытым исходным кодом через платформу Hugging Face.
Запуск версии Granite 3.1 демонстрирует постоянные инвестиции и техническую мощь IBM в области искусственного интеллекта с открытым исходным кодом. Его высокая производительность и обширная языковая поддержка предоставят разработчикам и предприятиям по всему миру более удобные и мощные инструменты искусственного интеллекта и будут способствовать развитию и применению технологий искусственного интеллекта. Мы с нетерпением ожидаем, что модель Granite принесет больше инноваций и прорывов в будущем.