Институт технологических инноваций Эмиратов (TII) выпустил новое поколение малых языковых моделей с открытым исходным кодом серии Falcon3, включающее четыре модели разных размеров (1B, 3B, 7B и 10B) и предоставляющее два варианта: базовую версию и версию с инструкциями. Целью этого выпуска является снижение порога использования технологии искусственного интеллекта и предоставление разработчикам, исследователям и предприятиям эффективных и экономичных решений искусственного интеллекта. Falcon3 показал хорошие результаты в рейтинге Hugging Face, превзойдя модели с открытым исходным кодом того же размера и опередив продукты таких гигантов, как Google, Meta и Alibaba, в нескольких тестах производительности, что отражает его скорость вывода, понимание языка и технические преимущества в других аспектах. аспекты.
Примечание к источнику изображения: изображение генерируется искусственным интеллектом и поставщиком услуг авторизации изображений Midjourney.
Производительность Falcon 3 возглавила рейтинг Hugging Face, опередив модели с открытым исходным кодом того же размера, такие как Llama от Meta и Qwen-2.5. В частности, версии 7B и 10B продемонстрировали ведущие технические преимущества в скорости мышления, понимании языка, выполнении инструкций, а также выполнении программных и математических задач и даже превзошли конкурентов, таких как Google, Meta и Alibaba, в нескольких тестах производительности.
По сравнению с традиционными моделями большого языка (LLM), модели SLM обладают преимуществами высокой эффективности и низкой стоимости благодаря меньшему количеству параметров и более простой конструкции и особенно подходят для приложений в сфере обслуживания клиентов, здравоохранения, Интернета вещей и других областях. По данным исследовательской компании Values Reports, рынок УУЗР, как ожидается, будет расти в среднем на 18% в год в течение следующих пяти лет.
Масштаб обучающих данных серии Falcon3 достигает 14 триллионов токенов, что более чем в два раза больше, чем у его предшественника Falcon2. В этой серии используется архитектура только для декодера и механизм группового внимания к запросам, чтобы минимизировать использование памяти и одновременно повысить эффективность вывода. Falcon3 поддерживает четыре языка, включая английский, французский, испанский и португальский, и оснащен контекстным окном размером 32 КБ, которое может обрабатывать длинный вводимый текст и отвечать потребностям различных отраслей.
В TII заявили, что базовая модель Falcon3 подходит для задач общего назначения, а командная версия оптимизирована для диалоговых задач, таких как обслуживание клиентов и виртуальные помощники. Запуск этой серии будет способствовать дальнейшему развитию периферийных вычислений и приложений, чувствительных к конфиденциальности, поддерживая такие сценарии, как персонализированные рекомендации, анализ данных, медицинская диагностика и оптимизация цепочки поставок.
Все модели Falcon3 выпускаются по лицензии TII Falcon License 2.0 — разрешительной лицензии на основе Apache 2.0, которая поддерживает ответственную разработку и развертывание искусственного интеллекта. Чтобы помочь разработчикам и исследователям начать работу, TII также запустила тестовую среду Falcon Playground, где пользователи могут опробовать эти модели перед их интеграцией.
Функции с открытым исходным кодом и эффективная производительность серии Falcon3 делают ее идеальным выбором для легких приложений искусственного интеллекта. Ожидается, что это ускорит популяризацию и применение технологий искусственного интеллекта в различных областях и будет способствовать дальнейшей демократизации технологий искусственного интеллекта. Его превосходная производительность, превосходящая конкурентов в нескольких тестах производительности, также указывает на то, что небольшие языковые модели имеют большой потенциал для будущего развития.