Rapports de l'éditeur de downcodes : Meta AI a lancé MobileLLM, un nouveau modèle de langage efficace conçu pour les appareils aux ressources limitées tels que les smartphones. Il remet en question la compréhension traditionnelle de l'échelle des grands modèles de langage. Son nombre de paramètres est bien inférieur à celui des modèles géants tels que GPT-4, mais il fonctionne bien dans les tests de référence. Ce résultat de recherche, complété par les équipes Meta Reality Labs, PyTorch et Meta AI Research, a été publié le 27 juin 2024, ouvrant une nouvelle direction pour le développement léger de modèles d'IA.
Les chercheurs de MetaAI ont dévoilé MobileLLM, une nouvelle approche pour concevoir des modèles de langage efficaces pour les smartphones et autres appareils aux ressources limitées. L’étude, publiée le 27 juin 2024, remet en question les hypothèses sur l’échelle nécessaire des modèles d’IA efficaces.
L'équipe de recherche, composée de membres de Meta Reality Labs, PyTorch et Meta AI Research (FAIR), se concentre sur l'optimisation de modèles comportant moins d'un milliard de paramètres. Il ne s’agit que d’une fraction des modèles comme GPT-4, dont on estime qu’ils comportent plus d’un billion de paramètres.
Les principales innovations de MobileLLM comprennent :
Ces choix de conception permettent à MobileLLM de surpasser les modèles précédents de taille similaire de 2,7 % à 4,3 % sur des tâches de référence courantes. Même si ces améliorations à un chiffre peuvent sembler minimes, elles représentent un progrès significatif dans le domaine hautement compétitif du développement de modèles linguistiques.
Notamment, sur certaines tâches d'appel d'API, la version à 350 millions de paramètres de MobileLLM a montré une précision comparable à celle du modèle LLaMA-2, plus grand, à 7 milliards de paramètres. Cela suggère que, pour certaines applications spécifiques, des modèles plus compacts peuvent fournir des fonctionnalités similaires tout en utilisant moins de ressources informatiques.
Le développement de MobileLLM coïncide avec l’intérêt croissant pour des modèles d’IA plus efficaces. Alors que les progrès dans les très grands modèles de langage montrent des signes de ralentissement, les chercheurs explorent de plus en plus le potentiel de conceptions plus compactes et spécialisées. Malgré le « LLM » dans le nom, l'accent mis sur l'efficacité et le déploiement des appareils place MobileLLM dans la même catégorie que ce que certains chercheurs appellent les petits modèles de langage (SLM).
Bien que MobileLLM ne soit pas encore accessible au public, Meta a rendu le code de pré-formation open source, permettant ainsi à d'autres chercheurs de s'appuyer sur ses travaux. À mesure que la technologie se développe, elle pourrait apporter des capacités d’IA plus avancées aux appareils personnels, même si le calendrier et les capacités spécifiques restent incertains.
L'émergence de MobileLLM indique que les modèles d'IA légers et efficaces deviendront une tendance importante dans le développement futur, apportant des capacités d'IA plus puissantes à davantage d'appareils. L'éditeur de Downcodes continuera à être attentif aux progrès ultérieurs de cette technologie.