Meta Platforms a publié une nouvelle version simplifiée du modèle Llama, Llama 3.21B et 3B, qui permet le fonctionnement stable de modèles linguistiques à grande échelle sur les smartphones et tablettes ordinaires. L’éditeur de Downcodes expliquera en détail cette avancée révolutionnaire et sa signification.
Meta Platforms a publié aujourd'hui une nouvelle version simplifiée de son modèle Llama, comprenant les produits Llama3.21B et 3B, qui permet pour la première fois le fonctionnement stable de modèles de langage à grande échelle sur les smartphones et tablettes ordinaires. En intégrant de manière innovante une technologie de formation quantitative et des algorithmes d'optimisation, la nouvelle version réduit la taille du fichier de 56 %, réduit les besoins en mémoire d'exécution de 41 % et augmente la vitesse de traitement à 4 fois celle de la version originale tout en conservant la qualité de traitement continue d'origine. Texte de 8 000 caractères.
Lorsqu'ils ont été testés sur des téléphones Android, les modèles d'IA compressés de Meta (SpinQuant et QLoRA) étaient nettement plus rapides et efficaces que les versions standard. Les modèles plus petits fonctionnent quatre fois plus vite tout en utilisant moins de mémoire
Lors du test réel du téléphone mobile OnePlus12, cette version compressée a montré des performances comparables à la version standard, tout en améliorant considérablement l'efficacité de fonctionnement, résolvant efficacement le problème à long terme de la puissance de calcul insuffisante des appareils mobiles. Meta a choisi d'adopter une stratégie de marché de coopération ouverte et de mener une coopération approfondie avec les principaux fabricants de processeurs mobiles tels que Qualcomm et MediaTek. La nouvelle version sera publiée simultanément sur le site officiel de Llama et sur la plateforme Hugging Face, offrant ainsi aux développeurs un accès pratique. canaux.
Cette stratégie contraste fortement avec celle des autres géants du secteur. Lorsque Google et Apple choisissent d'intégrer profondément les nouvelles technologies à leurs systèmes d'exploitation, la voie ouverte de Meta offre aux développeurs une plus grande marge d'innovation. Cette version marque le passage des modèles de traitement des données des serveurs centralisés aux terminaux personnels. Les solutions de traitement locales peuvent non seulement mieux protéger la confidentialité des utilisateurs, mais également offrir une expérience de réponse plus rapide.
Cette avancée technologique pourrait déclencher des changements majeurs similaires à ceux observés lors de la popularisation des ordinateurs personnels, même si elle reste confrontée à des défis tels que les exigences de performances des appareils et la sélection des plates-formes de développement. À mesure que les performances des appareils mobiles continuent de s’améliorer, les avantages des solutions de traitement localisé apparaîtront progressivement. Meta espère promouvoir le développement de l'ensemble de l'industrie dans une direction plus efficace et plus sûre grâce à une coopération ouverte et ouvrir de nouvelles voies pour le développement futur d'applications pour appareils mobiles.
La version simplifiée du modèle Llama offre de nouvelles possibilités pour les applications mobiles d'IA, et sa stratégie de coopération ouverte mérite également d'être apprise de l'industrie. À l’avenir, à mesure que la technologie continuera de mûrir et de devenir plus populaire, le traitement localisé de l’IA deviendra une tendance dominante.