En los últimos años, la tecnología de IA generativa se ha desarrollado rápidamente, pero el método tradicional de confiar simplemente en aumentar los datos y la potencia informática para mejorar el rendimiento de la IA ha llegado a un cuello de botella. El editor de Downcodes se enteró de que muchos científicos destacados en IA señalaron que el campo de la IA está pasando de una era de expansión de escala a una nueva etapa que se centra en la innovación revolucionaria. Este cambio significa que el desarrollo de la IA prestará más atención a mejorar la calidad del modelo en lugar de simplemente buscar la expansión de escala. Se están explorando y aplicando nuevos caminos y métodos técnicos, lo que genera nuevas oportunidades y desafíos para el desarrollo futuro del campo de la IA.
Con el rápido desarrollo de la IA generativa, la comprensión tradicional de la industria de que cuanto más grande, mejor está cambiando. Muchos científicos destacados en IA declararon recientemente que el método de mejorar el rendimiento de la IA simplemente aumentando la cantidad de datos y la potencia informática se está acercando a un cuello de botella y que están surgiendo nuevas direcciones tecnológicas innovadoras.
Ilya Sutskever, cofundador de Safe Superintelligence y OpenAI, expresó recientemente su opinión de que los métodos tradicionales de preentrenamiento han entrado en una meseta de rendimiento. Esta afirmación es particularmente sorprendente porque fue su temprana defensa de métodos de preentrenamiento a gran escala lo que dio origen a ChatGPT. Hoy, dijo que el campo de la IA ha pasado de una era de expansión de escala a una era de milagros y descubrimientos.
Actualmente, el entrenamiento de modelos grandes enfrenta múltiples desafíos: costos de entrenamiento de decenas de millones de dólares, el riesgo de fallas de hardware causadas por la complejidad del sistema, largos ciclos de prueba y limitaciones de los recursos de datos y el suministro de energía. Estos problemas han llevado a los investigadores a explorar nuevos caminos tecnológicos.
Entre ellos, la tecnología informática en tiempo de prueba ha recibido amplia atención. Este enfoque permite que el modelo de IA genere y evalúe múltiples opciones en tiempo real durante el uso, en lugar de dar directamente una única respuesta. El investigador de OpenAI, Noam Brown, hizo una vívida analogía: pedirle a la IA que piense en un juego de póquer durante 20 segundos es tan efectivo como ampliar el tamaño del modelo y el tiempo de entrenamiento 100.000 veces.
Actualmente, muchos de los principales laboratorios de IA, incluidos OpenAI, Anthropic, xAI y DeepMind, están desarrollando activamente sus propias versiones técnicas. OpenAI ha aplicado esta tecnología en su último modelo o1, y el director de producto Kevin Weil dijo que a través de estos métodos innovadores, ven muchas oportunidades para mejorar el rendimiento del modelo.
Los expertos de la industria creen que este cambio en la ruta tecnológica puede remodelar el panorama competitivo de toda la industria de la IA y cambiar fundamentalmente la estructura de demanda de diversos recursos de las empresas de IA. Esto indica que el desarrollo de la IA está entrando en una nueva etapa que presta más atención a la mejora de la calidad que a la pura expansión de escala.
Los nuevos avances tecnológicos han traído nuevas oportunidades de desarrollo a la industria de la IA y también han propuesto nuevas ideas sobre la dirección futura del desarrollo de la IA. El editor de Downcodes cree que en el desarrollo futuro, seguirán surgiendo tecnologías más innovadoras en el campo de la IA, promoviendo el desarrollo de la tecnología de IA a un nivel más profundo y, en última instancia, beneficiando a la sociedad humana.