Meta a récemment annoncé le lancement du dernier membre de sa série Llama – Llama3.370B. Ahmad Al-Dahle, vice-président de l'IA générative chez Meta, a annoncé la nouvelle sur le considérablement réduit.
Al-Dahle a déclaré qu'en tirant parti de la dernière technologie post-formation, Llama3.370B améliore non seulement les performances, mais réduit également les coûts d'exploitation. Selon les résultats des tests de référence publiés par Meta, Llama3.370B a surpassé Gemini1.5Pro de Google, GPT-4 d'OpenAI et Nova Pro d'Amazon récemment publié dans de nombreux domaines, en particulier dans le test MMLU qui évalue la capacité de compréhension du langage du modèle.
Le modèle est désormais disponible en téléchargement à partir de sources telles que Hugging Face et la plateforme officielle de Llama, une initiative de Meta qui vise à dominer le domaine de l'IA avec des modèles « ouverts ». Le modèle Llama de Meta peut être appliqué à une variété de scénarios et prend en charge la commercialisation, bien que Meta ait fixé des restrictions d'utilisation pour certains développeurs, exigeant que les plates-formes comptant plus de 700 millions d'utilisateurs mensuels demandent des licences spéciales. Malgré cela, le modèle Llama a été téléchargé plus de 650 millions de fois, ce qui indique sa grande popularité parmi les développeurs d'IA du monde entier.
Afin de prendre en charge la formation de modèles d'IA à plus grande échelle à l'avenir, Meta investit massivement dans l'infrastructure informatique. La société a récemment annoncé qu’elle construirait un centre de données d’IA de 10 milliards de dollars en Louisiane, qui est le plus grand centre de données d’IA de Meta à ce jour. Zuckerberg a mentionné lors de la conférence téléphonique sur les résultats que pour entraîner le modèle Llama4 de nouvelle génération, la puissance de calcul requise sera 10 fois supérieure à celle de Llama3. Meta a actuellement acheté plus de 100 000 clusters GPU Nvidia, correspondant aux ressources de concurrents tels que xAI.
Alors que le coût de la formation des modèles d'IA générative continue d'augmenter, les dépenses en capital de Meta affichent également une tendance à la hausse au deuxième trimestre 2024, pour atteindre 8,5 milliards de dollars. Cette croissance est principalement due aux investissements continus de Meta dans les serveurs, les centres de données et l'infrastructure réseau.