Cet article présente Transformer², un nouveau cadre adaptatif proposé par Sakana AI, qui résout les lacunes statiques et gourmandes en calcul des méthodes traditionnelles de réglage fin des grands modèles de langage (LLM). Transformer² utilise un mécanisme en deux étapes pour ajuster les poids LLM en temps réel pendant le processus de raisonnement, lui permettant de s'adapter de manière flexible à diverses tâches inconnues et de s'adapter à l'environnement comme une pieuvre. Son cœur réside dans le réglage fin des valeurs singulières (SVF) et les stratégies adaptatives, qui forment des vecteurs « experts » grâce à l'apprentissage par renforcement et combinent dynamiquement ces vecteurs pour obtenir des réponses précises à différentes tâches. Ce cadre présente de nombreux avantages tels qu'une efficacité élevée des paramètres, une modularité et une compatibilité entre modèles, et a démontré de meilleures performances que les méthodes de réglage fin traditionnelles dans les expériences.
Le cœur de Transformer² est son mécanisme unique en deux étapes et sa technologie de réglage fin de valeur singulière (SVF), ainsi que la combinaison intelligente de plusieurs stratégies adaptatives. Les vecteurs « experts » formés par apprentissage par renforcement confèrent au modèle une forte adaptabilité, lui permettant de bien fonctionner dans une variété de tâches inconnues. Bien qu'il reste encore des progrès à faire, Transformer² a sans aucun doute franchi une étape importante vers la création d'un système d'IA véritablement dynamique et auto-organisé. Les futures orientations de recherche incluent la fusion de modèles et l'expansion des méthodes CEM. L’adresse de l’article est jointe à la fin de l’article, et nous attendons avec impatience que davantage de chercheurs explorent cela en profondeur.