El proyecto GPT-5 de OpenAI (con nombre en código Orion) ha avanzado lentamente, lo que ha despertado una preocupación generalizada en la industria sobre la dirección futura del desarrollo de modelos de lenguaje a gran escala. Según los informes, aunque el GPT-5 funciona mejor que los modelos existentes, su mejora no es suficiente para soportar los enormes costos de investigación y desarrollo. Más importante aún, la falta de datos globales se ha convertido en el principal cuello de botella que impide que GPT-5 mejore aún más su nivel de inteligencia. Este artículo explorará en profundidad los desafíos técnicos, las dificultades internas que enfrenta el proyecto GPT-5 y el pensamiento resultante sobre los cuellos de botella del desarrollo de la IA.
El proyecto GPT-5 de alto perfil (con nombre en código Orion) ha estado en desarrollo durante más de 18 meses, pero aún no se ha publicado. Según el último informe del Wall Street Journal, personas familiarizadas con el asunto revelaron que, aunque el rendimiento de Orion es mejor que el modelo existente de OpenAI, su mejora no es suficiente para justificar seguir invirtiendo enormes costos. Lo que es aún más preocupante es que la falta de datos globales puede estar convirtiéndose en el mayor obstáculo para que GPT-5 avance hacia un mayor nivel de inteligencia.
Se dice que GPT-5 ha pasado por al menos dos entrenamientos, y cada entrenamiento expuso nuevos problemas y no cumplió con las expectativas de los investigadores. Cada ronda de capacitación dura varios meses y el costo computacional por sí solo alcanza los 500 millones de dólares. No está claro si el proyecto tendrá éxito o cuándo.
El camino hacia la formación está lleno de dificultades: aparecen cuellos de botella en los datos
Desde el lanzamiento de GPT-4 en marzo de 2023, OpenAI ha comenzado el desarrollo de GPT-5. Normalmente, las capacidades de un modelo de IA aumentan a medida que aumenta la cantidad de datos que absorbe. El proceso de capacitación requiere enormes cantidades de datos, lleva meses y depende de una gran cantidad de costosos chips informáticos. Altman, director ejecutivo de OpenAI, reveló una vez que solo el costo de entrenar GPT-4 supera los 100 millones de dólares, y se espera que el costo de entrenar modelos de IA en el futuro supere los mil millones de dólares.
Para reducir los riesgos, OpenAI generalmente realiza primero una prueba a pequeña escala para verificar la viabilidad del modelo. Sin embargo, el desarrollo de GPT-5 encontró desafíos desde el principio. A mediados de 2023, OpenAI lanzó una formación experimental llamada "Arrakis" diseñada para probar el nuevo diseño de GPT-5. Sin embargo, el progreso del entrenamiento es lento y costoso, y los resultados experimentales indican que el desarrollo de GPT-5 es más complejo y difícil de lo que se esperaba originalmente.
Por lo tanto, el equipo de investigación de OpenAI decidió realizar una serie de ajustes técnicos a Orion y se dio cuenta de que los datos públicos de Internet existentes ya no podían satisfacer las necesidades del modelo. Para mejorar el rendimiento de GPT-5, necesitan urgentemente más tipos y datos de mayor calidad.
“Crear datos desde cero”: hacer frente a la escasez de datos
Para abordar el problema de la insuficiencia de datos, OpenAI decidió "crear datos desde cero". Contratan ingenieros de software y matemáticos para escribir nuevos códigos de software o resolver problemas matemáticos, y permiten que Orion aprenda de estas tareas. OpenAI también permite a estos expertos explicar sus procesos de trabajo, transformando la inteligencia humana en conocimiento que se puede aprender por máquinas.
Muchos investigadores creen que el código, como lenguaje de software, puede ayudar a modelos grandes a resolver problemas que no habían visto antes. El director ejecutivo de Turing, Jonathan Siddharth, dijo: "Estamos transfiriendo inteligencia humana del cerebro humano al cerebro de la máquina".
OpenAI incluso trabaja con expertos en campos como la física teórica para permitirles explicar cómo resolver problemas difíciles en sus campos. Sin embargo, este enfoque de “crear datos desde cero” no es muy eficiente. Los datos de entrenamiento de GPT-4 son aproximadamente 13 billones de tokens. Incluso si 1.000 personas escriben 5.000 palabras al día, se necesitarán varios meses para producir mil millones de tokens.
Para acelerar el entrenamiento, OpenAI también está intentando utilizar "datos sintéticos" generados por la IA. Sin embargo, los estudios han demostrado que el circuito de retroalimentación en el que los datos generados por la IA se reutilizan para el entrenamiento de la IA a veces hace que el modelo cometa errores o genere respuestas sin sentido. En este sentido, los científicos de OpenAI creen que estos problemas se pueden evitar utilizando los datos generados por o1.
Problemas internos y externos: OpenAI enfrenta múltiples desafíos
OpenAI no sólo enfrenta desafíos técnicos, sino también agitación interna y caza furtiva por parte de los competidores. Al mismo tiempo, también están aumentando las presiones duales provenientes de la tecnología y las finanzas. Cada sesión de capacitación cuesta hasta 500 millones de dólares, y es probable que el costo final de la capacitación supere los mil millones de dólares. Al mismo tiempo, competidores como Anthropic y Google también están lanzando modelos de nueva generación en un intento de alcanzar a OpenAI.
La fuga de cerebros y los desacuerdos internos ralentizaron aún más el desarrollo. El año pasado, la junta directiva de OpenAI despidió abruptamente a Altman, lo que llevó a algunos investigadores a cuestionar el futuro de la empresa. Si bien Altman fue rápidamente reelegido como CEO y comenzó a reformar la estructura de gobierno de la compañía, más de 20 ejecutivos clave, investigadores y ejecutivos a largo plazo, incluido el cofundador y científico jefe Ilya Sutskever y la directora de tecnología Mira Murati, han sido reemplazados desde el principio. de este año los empleados se van uno tras otro.
A medida que el progreso del proyecto Orion se estancó, OpenAI comenzó a desarrollar otros proyectos y aplicaciones, incluida una versión simplificada de GPT-4 y el producto de generación de video de IA Sora. Pero esto ha llevado a una feroz competencia entre diferentes equipos por recursos informáticos limitados, especialmente entre el equipo de desarrollo de nuevos productos y el equipo de investigación de Orion.
¿Un cuello de botella en el desarrollo de la IA? La industria se enfrenta a un pensamiento profundo
El dilema de GPT-5 puede revelar una propuesta industrial más amplia: ¿Se está acercando la IA al "período de cuello de botella" de desarrollo? Los expertos de la industria señalan que las estrategias que se basan en datos masivos y modelos más grandes son gradualmente ineficaces. El ex científico de OpenAI Suzko Ver dijo una vez: "Sólo tenemos una Internet", el crecimiento de los datos se está desacelerando y el "combustible fósil" que impulsa el salto en la IA se está agotando gradualmente.
Altman nunca ha dado un calendario claro para el futuro de GPT-5. Todavía no sabemos con certeza cuándo o si OpenAI lanzará un modelo digno de llamarse GPT-5. Este dilema sobre GPT-5 también ha provocado que la gente piense en profundidad sobre la dirección futura del desarrollo de la IA.
El estancamiento del proyecto GPT-5 no solo afecta el desarrollo de OpenAI en sí, sino que también hace sonar la alarma para toda la industria de la IA, lo que sugiere que el camino de depender únicamente de la escala de datos y el tamaño del modelo puede haber llegado a su fin, y en el futuro El desarrollo de la IA necesita explorar nuevos enfoques y avances tecnológicos.