Компания Meta Platforms выпустила новую оптимизированную версию модели Llama — Llama 3.21B и 3B, которая обеспечивает стабильную работу крупномасштабных языковых моделей на обычных смартфонах и планшетах. Редактор Downcodes подробно объяснит этот прорывной прогресс и его значение.
Компания Meta Platforms сегодня выпустила новую оптимизированную версию своей модели Llama, включающую продукты Llama3.21B и 3B, которая впервые обеспечила стабильную работу крупномасштабных языковых моделей на обычных смартфонах и планшетах. Благодаря инновационной интеграции технологии количественного обучения и алгоритмов оптимизации новая версия уменьшает размер файла на 56 %, снижает требования к оперативной памяти на 41 % и увеличивает скорость обработки в 4 раза по сравнению с исходной версией, сохраняя при этом исходное качество непрерывной обработки. Текст объемом 8000 символов.
При тестировании на телефонах Android сжатые модели искусственного интеллекта Meta (SpinQuant и QLoRA) оказались значительно быстрее и эффективнее стандартных версий. Меньшие модели работают в четыре раза быстрее, используя меньше памяти.
В реальном тесте мобильного телефона OnePlus12 эта сжатая версия показала производительность, сравнимую со стандартной версией, и в то же время значительно улучшила эффективность работы, эффективно решая долгосрочную проблему недостаточной вычислительной мощности мобильных устройств. Meta решила принять рыночную стратегию открытого сотрудничества и осуществлять углубленное сотрудничество с основными производителями мобильных процессоров, такими как Qualcomm и MediaTek. Новая версия будет выпущена одновременно через официальный сайт Llama и платформу Hugging Face, предоставляя разработчикам удобный доступ. каналы.
Эта стратегия резко контрастирует с стратегиями других гигантов отрасли. Когда Google и Apple решают глубоко интегрировать новые технологии со своими операционными системами, открытый путь Meta предоставляет разработчикам больше возможностей для инноваций. Этот выпуск знаменует собой переход от централизованных серверов к персональным терминалам в моделях обработки данных. Решения для локальной обработки могут не только лучше защитить конфиденциальность пользователей, но и обеспечить более быстрое реагирование.
Этот технологический прорыв может спровоцировать серьезные изменения, аналогичные тем, которые произошли во время популяризации персональных компьютеров, хотя он по-прежнему сталкивается с такими проблемами, как требования к производительности устройств и выбор платформы для разработчиков. Поскольку производительность мобильных устройств продолжает улучшаться, постепенно будут проявляться преимущества решений локализованной обработки. Meta надеется способствовать развитию всей отрасли в более эффективном и безопасном направлении посредством открытого сотрудничества и открыть новые пути для будущей разработки приложений для мобильных устройств.
Упрощенная версия модели Llama открывает новые возможности для мобильных приложений искусственного интеллекта, а ее стратегия открытого сотрудничества также заслуживает изучения в отрасли. В будущем, когда технологии продолжат развиваться и становиться все более популярными, локализованная обработка ИИ станет основной тенденцией.