Des discussions animées ont eu lieu ces derniers temps dans le domaine de l'intelligence artificielle, et des controverses constantes subsistent quant à savoir si son développement a atteint un goulot d'étranglement. Le co-fondateur d'Anthropic, Jack Clark, a récemment publié un article exprimant son optimisme quant aux perspectives de développement de l'IA et a exposé son point de vue en utilisant le modèle o3 d'OpenAI comme exemple. Il estime que le développement de l'IA ne stagne pas, mais s'accélère, mais que des méthodes plus innovantes sont nécessaires, telles que la combinaison de l'apprentissage par renforcement et d'une puissance de calcul supplémentaire.
Le développement de l’intelligence artificielle a-t-il atteint un goulot d’étranglement ? Jack Clark, co-fondateur d’Anthropic, a clairement indiqué dans une récente newsletter que ce n’était pas le cas. Il estime que le modèle o3 récemment publié par OpenAI montre que le développement de l'IA n'a pas ralenti, mais pourrait s'accélérer.
Dans un bulletin d'information intitulé « Import AI », Clark réfute les affirmations selon lesquelles le développement de l'IA atteint ses limites. "Quiconque vous dit que les progrès ralentissent ou que la mise à l'échelle se heurte à un goulot d'étranglement se trompe", a-t-il écrit. Il a noté que le nouveau modèle o3 d'OpenAI est la preuve qu'il y a encore une énorme marge de croissance dans l'IA, mais qu'une approche différente sera nécessaire. . Au lieu de simplement faire évoluer le modèle, les modèles o3 tirent parti de l'apprentissage par renforcement et d'une puissance de calcul supplémentaire au moment de l'exécution.
Clark pense que cette capacité à « penser à voix haute » au moment de l'exécution ouvre de toutes nouvelles possibilités de mise à l'échelle. Il s'attend à ce que cette tendance s'accélère en 2025, lorsque les entreprises commenceront à combiner les méthodes traditionnelles, telles que des modèles de base plus larges, avec de nouvelles façons d'utiliser l'informatique lors de la formation et de l'inférence. Cela coïncide avec ce qu'OpenAI a dit lors du lancement de sa série de modèles o.
Clark a averti que la plupart des gens n’avaient probablement pas prévu à quelle vitesse l’IA se développerait. "Je pense que personne ne réalise à quel point les progrès de l'IA seront importants à l'avenir."
Il a toutefois souligné que le coût informatique constitue un défi majeur. La version la plus avancée d'o3 nécessite 170 fois la puissance de calcul de sa version de base, qui nécessite déjà plus de ressources que o1, qui lui-même nécessite plus de ressources que GPT-4o.
Clark a expliqué que ces nouveaux systèmes rendent les coûts plus difficiles à prévoir. Dans le passé, le coût était simplement déterminé par la taille du modèle et la longueur de production. Mais pour o3, les besoins en ressources peuvent varier en fonction de tâches spécifiques.
Malgré ces défis, Clark reste convaincu que la combinaison des méthodes de mise à l'échelle traditionnelles avec de nouvelles mènera à des avancées « plus significatives » en matière d'IA en 2025 que celles que nous avons vues jusqu'à présent.
La prédiction de Clark a suscité l'intérêt pour les propres projets d'Anthropic. La société n'a pas encore publié de modèle « d'inférence » ou de « temps de test » capable de rivaliser avec la série o d'OpenAI ou le Gemini Flash Thinking de Google.
Le modèle phare Opus 3.5 précédemment annoncé reste en attente, apparemment parce que ses améliorations de performances ne suffisent pas à justifier les coûts d'exploitation. Bien que certains pensent que cela indique des défis plus larges liés à la mise à l'échelle de grands modèles de langage, Opus 3.5 n'est pas un échec complet. Le modèle aurait contribué à la formation du nouveau Sonnet 3.5, qui est devenu le modèle linguistique le plus populaire du marché.
Le point de vue de Jack Clark offre une nouvelle perspective sur l'orientation future du développement de l'intelligence artificielle. Bien que les coûts informatiques restent un énorme défi, l'application de méthodes innovantes et le développement continu de grands modèles indiquent que la technologie de l'intelligence artificielle ouvrira la voie à un développement plus important. développement. À l’avenir, nous verrons l’IA démontrer ses puissantes capacités dans davantage de domaines.