Este artículo presenta Transformer², un nuevo marco adaptativo propuesto por Sakana AI, que resuelve las deficiencias estáticas y computacionalmente intensivas de los métodos tradicionales de ajuste fino del modelo de lenguaje grande (LLM). Transformer² utiliza un mecanismo de dos etapas para ajustar los pesos LLM en tiempo real durante el proceso de razonamiento, lo que le permite adaptarse de manera flexible a diversas tareas desconocidas y adaptarse al entorno como un pulpo. Su núcleo radica en el ajuste de valores singulares (SVF) y las estrategias adaptativas, que entrenan vectores "expertos" a través del aprendizaje por refuerzo y combinan dinámicamente estos vectores para lograr respuestas precisas a diferentes tareas. Este marco tiene muchas ventajas, como eficiencia de parámetros, modularidad y compatibilidad entre modelos, y ha demostrado un mejor rendimiento que los métodos tradicionales de ajuste fino en experimentos.
El núcleo de Transformer² es su mecanismo único de dos etapas y su tecnología de ajuste fino de valor singular (SVF), así como la combinación inteligente de múltiples estrategias adaptativas. Los vectores "expertos" entrenados mediante aprendizaje por refuerzo le dan al modelo una gran adaptabilidad, lo que le permite desempeñarse bien en una variedad de tareas desconocidas. Aunque todavía hay margen de mejora, Transformer² sin duda ha dado un paso importante hacia la construcción de un sistema de IA verdaderamente dinámico y autoorganizado. Las direcciones de investigación futuras incluyen la fusión de modelos y la expansión de los métodos CEM. La dirección del artículo se adjunta al final del artículo y esperamos que más investigadores exploren esto en profundidad.