Le modèle d'IA de nouvelle génération de xAI, Grok3, initialement prévu pour être publié fin 2024, n'a pas été publié comme prévu, ce qui a suscité des inquiétudes dans l'industrie. Grok3 se positionne comme un produit destiné à concurrencer GPT-4 et Gemini, possède des capacités d’analyse d’images et de réponse aux questions et est utilisé sur la plateforme sociale X de Musk. Les retards dans son processus de développement, ainsi que les retards dans des projets similaires menés par d’autres sociétés d’IA, ont déclenché une réflexion sur les goulots d’étranglement des méthodes actuelles de formation à l’IA.
Récemment, le modèle d'IA de nouvelle génération Grok3, qui devait initialement être lancé fin 2024 par xAI, une société d'IA fondée par Elon Musk, n'est pas arrivé comme prévu. Cette nouvelle a attiré une large attention dans l'industrie. Grok3 est considéré comme le principal produit compétitif de xAI par rapport au GPT-4 d'OpenAI et au Gemini de Google. Il possède des capacités d'analyse d'images et de questions et réponses, et a été appliqué sur le réseau social X de Musk.
L'été dernier, Musk a déclaré sur la plateforme X que Grok3 serait "une avancée majeure attendue après 100 000 entraînements H100". Mais le 2 janvier, juste après le nouvel an, Grok3 n'était toujours pas sorti, et rien n'indiquait qu'il sortirait prochainement. Il est rapporté qu'une version intermédiaire "Grok2.5" pourrait être lancée en premier.
Ce phénomène n’est pas un cas isolé. De nombreuses entreprises du secteur de l’IA ont connu des situations embarrassantes similaires. Prenons l'exemple de la startup d'IA Anthropic. L'année dernière, elle n'a pas réussi à lancer le successeur de son modèle Claude3Opus, Claude3.5Opus, comme prévu, et a même décidé d'abandonner la sortie du modèle après avoir annoncé que le modèle serait lancé d'ici la fin. de 2024. De plus, Google et OpenAI ont également connu des retards dans la sortie de leurs modèles phares.
Derrière cette série de retards peuvent refléter les goulots d’étranglement auxquels sont confrontées les méthodes actuelles de formation en IA. Dans le passé, les entreprises étaient en mesure de réaliser des gains de performances significatifs grâce à une puissance de calcul massive et à des ensembles de données plus volumineux pour la formation. Mais à mesure que l’amélioration des performances de chaque génération de modèles diminue progressivement, les entreprises commencent à rechercher des technologies alternatives pour surmonter le goulot d’étranglement actuel. Dans une interview avec l'animateur de podcast Lex Fridman, Musk a déclaré que même si ses attentes pour Grok 3 étaient élevées, il a également admis que cela pourrait ne pas se réaliser.
De plus, la petite taille de l’équipe xAI peut également être l’une des raisons importantes du retard de Grok3. Parmi ses concurrents, xAI dispose de ressources et de main-d'œuvre relativement limitées, ce qui les expose sans aucun doute à davantage de défis lors du développement de nouveaux modèles.
Dans l’ensemble, le retard de Grok3 n’est pas seulement un petit épisode de xAI, mais aussi une tendance générale que l’ensemble de l’industrie de l’IA montre face à des goulots d’étranglement techniques.
La sortie retardée de Grok3 met en évidence les défis techniques et les pressions commerciales auxquels sont confrontés la recherche et le développement de modèles de langage à grande échelle. À l'avenir, l'industrie de l'IA devra explorer de nouvelles méthodes et technologies de formation pour faire face au goulot d'étranglement de l'amélioration des performances des modèles et améliorer l'efficacité de la recherche et du développement.