La lenteur des progrès du projet GPT-5 d'OpenAI (nom de code Orion) a suscité une inquiétude généralisée dans l'industrie quant à l'orientation future du développement des modèles de langage à grande échelle. Selon les rapports, bien que le GPT-5 soit plus performant que les modèles existants, son amélioration ne suffit pas à supporter les énormes coûts de recherche et de développement. Plus important encore, le manque de données mondiales est devenu le principal goulot d’étranglement qui empêche GPT-5 d’améliorer davantage son niveau de renseignement. Cet article explorera en profondeur les défis techniques, les difficultés internes rencontrés par le projet GPT-5 et la réflexion qui en résulte sur les goulots d'étranglement du développement de l'IA.
Le projet très médiatisé GPT-5 (nom de code Orion) est en développement depuis plus de 18 mois, mais n'a pas encore été publié. Selon le dernier rapport du Wall Street Journal, des personnes proches du dossier ont révélé que même si les performances d’Orion sont meilleures que celles du modèle existant d’OpenAI, son amélioration n’est pas suffisante pour justifier la poursuite d’investissements énormes. Ce qui est encore plus inquiétant, c’est que le manque de données mondiales pourrait devenir le principal obstacle qui empêche GPT-5 d’évoluer vers un niveau d’intelligence plus élevé.
On dit que GPT-5 a suivi au moins deux formations, et chaque formation a exposé de nouveaux problèmes et n'a pas répondu aux attentes des chercheurs. Chaque cycle de formation prend plusieurs mois et le coût de calcul à lui seul peut atteindre 500 millions de dollars. On ne sait pas si et quand le projet réussira.
Le chemin vers la formation est semé d’embûches : des goulots d’étranglement en matière de données apparaissent
Depuis la sortie de GPT-4 en mars 2023, OpenAI a commencé le développement de GPT-5. En règle générale, les capacités d’un modèle d’IA augmentent à mesure que la quantité de données qu’il absorbe augmente. Le processus de formation nécessite d’énormes quantités de données, prend des mois et s’appuie sur un grand nombre de puces informatiques coûteuses. Le PDG d'OpenAI, Altman, a révélé un jour que le coût de la formation de GPT-4 à lui seul dépasse 100 millions de dollars, et que le coût de la formation des modèles d'IA à l'avenir devrait dépasser 1 milliard de dollars.
Afin de réduire les risques, OpenAI effectue généralement d’abord un essai à petite échelle pour vérifier la faisabilité du modèle. Cependant, le développement de GPT-5 a rencontré des défis dès le début. Mi-2023, OpenAI a lancé une formation expérimentale appelée « Arrakis » conçue pour tester la nouvelle conception de GPT-5. Cependant, les progrès de la formation sont lents et coûteux, et les résultats expérimentaux indiquent que le développement de GPT-5 est plus complexe et difficile que prévu initialement.
Par conséquent, l’équipe de recherche d’OpenAI a décidé d’apporter une série d’ajustements techniques à Orion et s’est rendu compte que les données Internet publiques existantes ne pouvaient plus répondre aux besoins du modèle. Afin d’améliorer les performances de GPT-5, ils ont besoin de toute urgence de davantage de types et de données de meilleure qualité.
« Créer des données à partir de zéro » : faire face aux pénuries de données
Afin de résoudre le problème du manque de données, OpenAI a décidé de « créer des données à partir de zéro ». Ils embauchent des ingénieurs logiciels et des mathématiciens pour écrire du nouveau code logiciel ou résoudre des problèmes mathématiques, et laissent Orion apprendre de ces tâches. OpenAI permet également à ces experts d'expliquer leurs processus de travail, transformant ainsi l'intelligence humaine en connaissances apprenables par machine.
De nombreux chercheurs pensent que le code, en tant que langage logiciel, peut aider les grands modèles à résoudre des problèmes qu’ils n’ont jamais rencontrés auparavant. Jonathan Siddharth, PDG de Turing, a déclaré : « Nous transférons l'intelligence humaine du cerveau humain au cerveau machine. »
OpenAI travaille même avec des experts dans des domaines tels que la physique théorique pour leur permettre d'expliquer comment résoudre des problèmes difficiles dans leur domaine. Cependant, cette approche « créer des données à partir de zéro » n’est pas très efficace. Les données de formation de GPT-4 représentent environ 13 000 milliards de jetons. Même si 1 000 personnes écrivent 5 000 mots par jour, il faudra plusieurs mois pour produire 1 milliard de jetons.
Afin d'accélérer la formation, OpenAI tente également d'utiliser des « données synthétiques » générées par l'IA. Cependant, des études ont montré que la boucle de rétroaction dans laquelle les données générées par l’IA sont réutilisées pour la formation à l’IA amène parfois le modèle à commettre des erreurs ou à générer des réponses dénuées de sens. À cet égard, les scientifiques d'OpenAI estiment que ces problèmes peuvent être évités en utilisant les données générées par o1.
Problèmes internes et externes : OpenAI fait face à de multiples défis
OpenAI est non seulement confronté à des défis techniques, mais également à des troubles internes et au braconnage de la part des concurrents. Dans le même temps, les doubles pressions technologiques et financières s’accentuent également. Chaque session de formation coûte jusqu'à 500 millions de dollars, et le coût final de la formation dépassera probablement 1 milliard de dollars. Dans le même temps, des concurrents comme Anthropic et Google lancent également des modèles de nouvelle génération pour tenter de rattraper OpenAI.
La fuite des cerveaux et les désaccords internes ont encore ralenti le développement. L'année dernière, le conseil d'administration d'OpenAI a brusquement licencié Altman, ce qui a amené certains chercheurs à s'interroger sur l'avenir de l'entreprise. Alors qu'Altman a été rapidement reconduit dans ses fonctions de PDG et a commencé à réorganiser la structure de gouvernance de l'entreprise, plus de 20 dirigeants clés, chercheurs et cadres de longue date, dont le co-fondateur et scientifique en chef Ilya Sutskever et la responsable de la technologie Mira Murati, ont été remplacés depuis le début. de cette année, les salariés partent les uns après les autres.
Alors que la progression du projet Orion était au point mort, OpenAI a commencé à développer d'autres projets et applications, notamment une version simplifiée de GPT-4 et le produit de génération vidéo IA Sora. Mais cela a conduit à une concurrence féroce entre différentes équipes pour des ressources informatiques limitées, notamment entre l'équipe de développement de nouveaux produits et l'équipe de recherche d'Orion.
Un goulot d’étranglement dans le développement de l’IA ? L’industrie est confrontée à une réflexion approfondie
La situation difficile du GPT-5 pourrait révéler une proposition industrielle plus vaste : l'IA approche-t-elle d'une « période de goulot d'étranglement » du développement ? Les experts du secteur soulignent que les stratégies qui s'appuient sur des données massives et des modèles plus vastes deviennent progressivement inefficaces. Suzkwer, ancien scientifique d'OpenAI, a déclaré un jour que « nous n'avons qu'un seul Internet », que la croissance des données ralentit et que le « combustible fossile » qui est à l'origine du bond de l'IA se tarit progressivement.
Altman n'a jamais donné de calendrier clair pour l'avenir de GPT-5. Nous ne savons toujours pas avec certitude quand et si OpenAI lancera un modèle digne de s’appeler GPT-5. Ce dilemme concernant le GPT-5 a également déclenché une réflexion approfondie sur l’orientation future du développement de l’IA.
La stagnation du projet GPT-5 affecte non seulement le développement d'OpenAI lui-même, mais sonne également l'alarme pour l'ensemble du secteur de l'IA, suggérant que la voie consistant à s'appuyer uniquement sur l'échelle des données et la taille des modèles a peut-être pris fin, et que l'avenir Le développement de l’IA doit explorer de nouvelles approches et des avancées technologiques.