Институт технологических инноваций Эмиратов (TII) выпустил новое поколение малой языковой модели с открытым исходным кодом серии Falcon3, которая включает в себя четыре модели разных размеров и предоставляет два варианта: базовую версию и командную версию. Эта серия моделей хорошо зарекомендовала себя в рейтинге Hugging Face, превосходя модели с открытым исходным кодом того же размера и даже опережая конкурентов, таких как Google, Meta и Alibaba, в нескольких тестах производительности. Серия Falcon3 эффективна и недорога и особенно подходит для устройств и сценариев приложений с ограниченными вычислительными ресурсами, таких как обслуживание клиентов, здравоохранение и Интернет вещей. Его обучающие данные имеют большой масштаб и используют передовую архитектуру и механизмы для минимизации использования памяти и повышения эффективности вывода. TII также предоставляет тестовую среду Falcon Playground, чтобы помочь разработчикам и исследователям опробовать ее.
Примечание к источнику изображения: изображение генерируется искусственным интеллектом и поставщиком услуг авторизации изображений Midjourney.
Производительность Falcon 3 возглавила рейтинг Hugging Face, опередив модели с открытым исходным кодом того же размера, такие как Llama от Meta и Qwen-2.5. В частности, версии 7B и 10B продемонстрировали ведущие технические преимущества в скорости рассуждения, понимании языка, выполнении инструкций, а также выполнении программных и математических задач и даже превзошли конкурентов, таких как Google, Meta и Alibaba, в нескольких тестах производительности.
По сравнению с традиционными моделями большого языка (LLM), модели SLM обладают преимуществами высокой эффективности и низкой стоимости благодаря меньшему количеству параметров и более простой конструкции и особенно подходят для приложений в сфере обслуживания клиентов, здравоохранения, Интернета вещей и других областях. По данным исследовательской компании Values Reports, ожидается, что рынок УУЗР будет расти в среднем на 18% в год в течение следующих пяти лет.
Масштаб обучающих данных серии Falcon3 достигает 14 триллионов токенов, что более чем в два раза больше, чем у его предшественника Falcon2. В этой серии используется архитектура только для декодера и механизм группового внимания к запросам, чтобы минимизировать использование памяти и одновременно повысить эффективность вывода. Falcon3 поддерживает четыре языка, включая английский, французский, испанский и португальский, и оснащен контекстным окном размером 32 КБ, которое может обрабатывать длинный вводимый текст и отвечать потребностям различных отраслей.
В TII заявили, что базовая модель Falcon3 подходит для задач общего назначения, а командная версия оптимизирована для диалоговых задач, таких как обслуживание клиентов и виртуальные помощники. Запуск этой серии будет способствовать дальнейшему развитию периферийных вычислений и приложений, чувствительных к конфиденциальности, поддерживая такие сценарии, как персонализированные рекомендации, анализ данных, медицинская диагностика и оптимизация цепочки поставок.
Все модели Falcon3 выпускаются по лицензии TII Falcon License 2.0 — разрешительной лицензии на основе Apache 2.0, которая поддерживает ответственную разработку и развертывание искусственного интеллекта. Чтобы помочь разработчикам и исследователям начать работу, TII также запустила тестовую среду Falcon Playground, где пользователи могут опробовать эти модели перед их интеграцией.
Выпуск серии Falcon3 с открытым исходным кодом снижает порог применения технологий искусственного интеллекта, предоставляет разработчикам и исследователям мощные инструменты, ускоряет применение и инновации технологий искусственного интеллекта в различных областях и знаменует тенденцию дальнейшей популяризации и демократизации технологий искусственного интеллекта.