Отчет редактора Downcodes: Meta AI запустила MobileLLM, новую и эффективную языковую модель, предназначенную для устройств с ограниченными ресурсами, таких как смартфоны. Он бросает вызов традиционному пониманию масштаба больших языковых моделей. Его количество параметров намного меньше, чем у гигантских моделей, таких как GPT-4, но он хорошо работает в тестах производительности. Этот результат исследования, завершенный командами Meta Reality Labs, PyTorch и Meta AI Research, был опубликован 27 июня 2024 года и открывает новое направление для упрощенной разработки моделей искусственного интеллекта.
Исследователи MetaAI представили MobileLLM, новый подход к разработке эффективных языковых моделей для смартфонов и других устройств с ограниченными ресурсами. Исследование, опубликованное 27 июня 2024 года, бросает вызов предположениям о необходимом масштабе эффективных моделей ИИ.
Исследовательская группа, состоящая из представителей Meta Reality Labs, PyTorch и Meta AI Research (FAIR), занимается оптимизацией моделей с менее чем 1 миллиардом параметров. Это лишь малая часть таких моделей, как GPT-4, которые, по оценкам, имеют более триллиона параметров.
Ключевые инновации MobileLLM включают в себя:
Такой выбор конструкции позволяет MobileLLM превосходить предыдущие модели аналогичного размера на 2,7–4,3 % при выполнении обычных контрольных задач. Хотя эти однозначные улучшения могут показаться незначительными, они представляют собой значительный прогресс в высококонкурентной области разработки языковых моделей.
Примечательно, что при выполнении некоторых задач вызова API версия MobileLLM с 350 миллионами параметров показала точность, сопоставимую с более крупной моделью LLaMA-2 с 7 миллиардами параметров. Это говорит о том, что для некоторых конкретных приложений более компактные модели могут обеспечивать аналогичную функциональность, используя при этом меньше вычислительных ресурсов.
Развитие MobileLLM совпадает с растущим интересом к более эффективным моделям искусственного интеллекта. Поскольку прогресс в разработке очень больших языковых моделей демонстрирует признаки замедления, исследователи все активнее изучают потенциал более компактных специализированных моделей. Несмотря на «LLM» в названии, акцент на эффективности и развертывании устройств ставит MobileLLM в ту же категорию, что и то, что некоторые исследователи называют малыми языковыми моделями (SLM).
Хотя MobileLLM еще не доступен для широкой публики, Meta сделала код предварительного обучения открытым, что позволяет другим исследователям использовать его работу. По мере развития технологии она может принести более продвинутые возможности искусственного интеллекта на персональные устройства, хотя сроки и конкретные возможности остаются неопределенными.
Появление MobileLLM указывает на то, что легкие и эффективные модели искусственного интеллекта станут важной тенденцией в будущем развитии, предоставляя более мощные возможности искусственного интеллекта большему количеству устройств. Редактор Downcodes продолжит обращать внимание на последующий прогресс этой технологии.