IT House a rapporté le 18 novembre qu'il y avait des rumeurs récentes selon lesquelles les principaux laboratoires d'IA, notamment OpenAI, Google et Anthropic, rencontraient des difficultés pour développer des modèles d'IA avancés. Ces rapports attribuent la cause à un manque de données de qualité sur la formation, ce qui conduit à des rendements décroissants qui rendent difficile la poursuite des investissements.
À cet égard, Sam Altman, PDG d'OpenAI, et Dario Amodei, PDG d'Anthropic, ont tous deux exprimé des opinions différentes. Altman a semblé répondre à la presse négative en publiant un message énigmatique sur les réseaux sociaux suggérant « qu'il n'y a pas de limites ». Amodei partage un point de vue similaire et, même s’il reconnaît que de nombreux facteurs peuvent entraver le développement de l’IA, il reste optimiste quant aux moyens de surmonter ces obstacles, notamment en utilisant des données synthétiques.
IT House a remarqué que l'ancien PDG de Google, Eric Schmidt, avait également exprimé son point de vue sur ces rapports. Il estime que les grands modèles de langage subiront deux à trois itérations au cours des cinq prochaines années . Les performances de ces modèles augmentent à un rythme sans précédent, et rien n’indique actuellement que cette tendance à la croissance est sur le point de s’arrêter . Même si nous finirons par rencontrer un goulot d’étranglement, nous n’en sommes pas encore là.
Schmidt prédit que des modèles d’IA plus avancés et plus puissants apparaîtront à l’avenir, notamment dans les domaines de la physique et des mathématiques. Il a expliqué à titre d'exemple le modèle Strawberry AI récemment publié par OpenAI, OpenAI-o1. Cependant, Schmidt a également averti qu’à mesure que les modèles deviennent plus avancés, les dangers potentiels augmentent. Il a noté que ces modèles primitifs pourraient être plus efficaces que les humains pour lancer des « attaques du jour zéro » . En outre, les virus biologiques et les nouveaux types de guerre peuvent également devenir des menaces potentielles liées au développement de l’IA.