Meta a récemment annoncé que la puissance de calcul requise pour la formation de modèles linguistiques à grande échelle augmenterait de façon exponentielle à l'avenir. Le PDG de Meta, Zuckerberg, a révélé lors de l'appel aux résultats que le volume de calcul d'entraînement de Llama 4 sera dix fois supérieur à celui de Llama 3. Cette nouvelle met en évidence le coût élevé et les défis techniques de la formation de modèles linguistiques à grande échelle, et reflète également la concurrence féroce et continue entre les géants de la technologie dans le domaine de l'IA. Meta investit activement dans la création de capacités informatiques correspondantes pour répondre aux futurs besoins de formation des modèles.
Meta, en tant que développeur du modèle de langage de base open source à grande échelle Llama, estime que la puissance de calcul requise pour former les modèles augmentera considérablement à l'avenir. Mardi, lors de la conférence téléphonique sur les résultats du deuxième trimestre de Meta, Mark Zuckerberg a révélé que la formation de Llama4 nécessiterait 10 fois la puissance de calcul de la formation de Llama3. Il a souligné que malgré cela, Meta doit développer la capacité de former des modèles afin de ne pas se laisser distancer par ses concurrents.
"La formation de Llama4 pourrait nécessiter près de 10 fois plus de calculs que celle requise pour former Llama3, et les futurs modèles continueront à nécessiter davantage de calculs", a déclaré Zuckerberg. Il a également noté qu'il est difficile de prédire la tendance de développement des futurs modèles multigénérations. , mais à l'heure actuelle, il vaut mieux construire les capacités requises à l'avance que d'être trop tard. Après tout, démarrer un nouveau projet d'inférence nécessite un long temps de préparation.
En avril de cette année, Meta a publié Llama3 avec 80 milliards de paramètres. La semaine dernière, la société a publié sa version améliorée Llama3.1405B, avec des paramètres atteignant 405 milliards, devenant ainsi le plus grand modèle open source de Meta.
Susan Lee, directrice financière de Meta, a également déclaré que la société envisageait différents projets de centres de données et renforçait les capacités de formation des futurs modèles d'IA. Meta s'attend à ce que cet investissement augmente les dépenses en capital en 2025, a-t-elle déclaré.
Vous savez, la formation de grands modèles linguistiques est une activité coûteuse. Au deuxième trimestre 2024, les dépenses en capital de Meta ont augmenté de près de 33 % pour atteindre 8,5 milliards de dollars, contre 6,4 milliards de dollars il y a un an, grâce aux investissements dans les serveurs, les centres de données et l'infrastructure réseau.
Points forts:
?Meta La puissance de calcul requise pour entraîner Llama4 est environ 10 fois supérieure à celle de l'entraînement Llama3.
« Meta s'attend à ce que les investissements dans le renforcement des capacités augmentent les dépenses en capital en 2025.
« La formation de grands modèles linguistiques coûte cher et les dépenses d'investissement de Meta ont considérablement augmenté au deuxième trimestre.
Dans l'ensemble, l'énorme investissement de Meta dans la future formation de modèles d'IA démontre ses ambitions dans le domaine de l'intelligence artificielle, mais il annonce également la concurrence de plus en plus féroce dans l'industrie de l'IA et les progrès rapides du développement technologique. Cela aura de profondes conséquences pour l’ensemble de l’industrie technologique.