Ces dernières années, l'amélioration des performances des modèles de grands langues (LLM) s'est principalement appuyée sur l'expansion de l'échelle, c'est-à-dire l'augmentation du volume de données et de la puissance de calcul. Cependant, ce modèle atteint progressivement un goulot d'étranglement. Les experts de l'industrie ont souligné qu'il est difficile de faire des progrès significatifs simplement en s'appuyant sur la stratégie "plus grande et meilleure", et les nouvelles percées technologiques sont imminentes. Cet article explorera les défis auxquels le champ d'IA est confronté et la façon dont les technologies émergentes de «calcul de test» peuvent apporter de nouvelles directions au développement de l'IA.
Avec le développement rapide de l'IA générative, la perception traditionnelle de l'industrie de «plus grand est mieux» change. De nombreux principaux scientifiques de l'IA ont récemment déclaré que la méthode d'amélioration des performances de l'IA en augmentant simplement la quantité de données et la puissance de calcul approche d'un goulot d'étranglement, et de nouvelles percées technologiques émergent.
Ilya Sutskever, co-fondatrice de Safe Superintelligence et Openai, a récemment exprimé son opinion selon laquelle les méthodes traditionnelles de pré-formation sont entrées dans la période de plate-forme de performance. Cette déclaration est particulièrement accrocheuse car c'est la méthode de pré-formation à grande échelle qu'il a préconisée au début qui a donné naissance à Chatgpt. Aujourd'hui, il a déclaré que le domaine de l'IA est passé de "l'ère de l'ère de l'échelle" à "l'ère des miracles et de la découverte".
Actuellement, une formation à grande échelle est confrontée à plusieurs défis: les coûts de formation de dizaines de millions de dollars, le risque de défaillance matérielle causé par la complexité du système, les cycles de test longs et les limitations des ressources de données et de l'approvisionnement en énergie. Ces questions ont incité les chercheurs à explorer de nouvelles voies technologiques.
Parmi eux, la technologie du «calcul de test de test» a attiré une attention généralisée. Cette approche permet aux modèles d'IA de générer et d'évaluer plusieurs solutions en temps réel pendant l'utilisation plutôt que de donner une seule réponse directement. Le chercheur OpenAI, Noam Brown, a fait une analogie d'image: laisser l'IA réfléchir pendant 20 secondes dans une carte de jeu, ce qui est comparable à l'élargissement de l'échelle du modèle et du temps de formation de 100 000 fois.
Actuellement, plusieurs grandes laboratoires d'IA, dont OpenAI, Anthropic, Xai et DeepMind, développent activement leurs versions technologiques respectives. OpenAI a appliqué cette technologie dans son dernier modèle "O1", et le directeur des produits Kevin Weil a déclaré que grâce à ces approches innovantes, ils ont vu un grand nombre d'occasions d'améliorer les performances du modèle.
Les experts de l'industrie estiment que cette transformation des voies technologiques peut remodeler le paysage concurrentiel de l'ensemble de l'industrie de l'IA et changer fondamentalement la structure de la demande des entreprises d'IA pour diverses ressources. Cela marque que le développement de l'IA entre dans une nouvelle étape où il se concentre davantage sur l'amélioration de la qualité plutôt que sur la simple expansion d'échelle.
En bref, la montée en puissance de nouvelles technologies telles que le «calcul du temps de test» marque une nouvelle étape dans le développement de l'IA, c'est-à-dire en accordant plus d'attention à l'amélioration des performances du modèle plutôt qu'à une simple expansion à l'échelle. Cela changera le paysage concurrentiel de l'industrie de l'IA et favorisera la technologie de l'IA pour se développer dans une direction plus raffinée et intelligente. À l'avenir, les percées dans la technologie de l'IA s'appuieront davantage sur l'innovation et la compréhension des algorithmes de l'essence du modèle, plutôt qu'une simple accumulation de puissance de calcul.