O lento progresso do projeto GPT-5 da OpenAI (codinome Orion) despertou preocupação generalizada na indústria sobre a direção futura do desenvolvimento de modelos de linguagem em grande escala. Segundo relatos, embora o GPT-5 tenha um desempenho melhor do que os modelos existentes, a sua melhoria não é suficiente para suportar os enormes custos de investigação e desenvolvimento. Mais importante ainda, a falta de dados globais tornou-se o principal obstáculo que restringe o GPT-5 de melhorar ainda mais o seu nível de inteligência. Este artigo explorará profundamente os desafios técnicos, as dificuldades internas enfrentadas pelo projeto GPT-5 e o pensamento resultante sobre os gargalos do desenvolvimento da IA.
O projeto GPT-5 de alto perfil (codinome Orion) está em desenvolvimento há mais de 18 meses, mas ainda não foi lançado. De acordo com o último relatório do Wall Street Journal, pessoas familiarizadas com o assunto revelaram que embora o desempenho do Orion seja melhor do que o modelo existente da OpenAI, a sua melhoria não é suficiente para justificar continuar a investir enormes custos. O que é ainda mais preocupante é que a falta de dados globais pode estar a tornar-se o maior obstáculo para o GPT-5 avançar para um nível mais elevado de inteligência.
Diz-se que o GPT-5 passou por pelo menos dois treinamentos, e cada treinamento expôs novos problemas e não atendeu às expectativas dos pesquisadores. Cada rodada de treinamento leva vários meses e o custo computacional por si só chega a US$ 500 milhões. Não está claro se ou quando o projeto terá sucesso.
O caminho para a formação está cheio de dificuldades: aparecem gargalos de dados
Desde o lançamento do GPT-4 em março de 2023, a OpenAI iniciou o desenvolvimento do GPT-5. Normalmente, os recursos de um modelo de IA aumentam à medida que aumenta a quantidade de dados que ele absorve. O processo de treinamento requer grandes quantidades de dados, leva meses e depende de um grande número de chips de computação caros. O CEO da OpenAI, Altman, revelou certa vez que o custo de treinamento do GPT-4 sozinho excede US$ 100 milhões, e o custo de treinamento de modelos de IA no futuro deverá exceder US$ 1 bilhão.
Para reduzir os riscos, a OpenAI geralmente realiza primeiro um teste em pequena escala para verificar a viabilidade do modelo. No entanto, o desenvolvimento do GPT-5 encontrou desafios desde o início. Em meados de 2023, a OpenAI lançou um treinamento experimental chamado “Arrakis” projetado para testar o novo design do GPT-5. No entanto, o progresso do treinamento é lento e caro, e os resultados experimentais indicam que o desenvolvimento do GPT-5 é mais complexo e difícil do que o inicialmente esperado.
Portanto, a equipe de pesquisa da OpenAI decidiu fazer uma série de ajustes técnicos no Orion e percebeu que os dados públicos existentes na Internet não poderiam mais atender às necessidades do modelo. Para melhorar o desempenho do GPT-5, eles precisam urgentemente de mais tipos e de dados de maior qualidade.
“Criando dados do zero”: Lidando com a escassez de dados
Para lidar com o problema da insuficiência de dados, a OpenAI decidiu “criar dados do zero”. Eles contratam engenheiros de software e matemáticos para escrever novos códigos de software ou resolver problemas matemáticos e permitem que Orion aprenda com essas tarefas. A OpenAI também permite que esses especialistas expliquem seus processos de trabalho, transformando a inteligência humana em conhecimento que pode ser aprendido por máquinas.
Muitos pesquisadores acreditam que o código, como linguagem do software, pode ajudar grandes modelos a resolver problemas que nunca viram antes. O CEO da Turing, Jonathan Siddharth, disse: “Estamos transferindo a inteligência humana do cérebro humano para o cérebro da máquina”.
A OpenAI ainda trabalha com especialistas em áreas como física teórica para deixá-los explicar como resolver problemas difíceis em suas áreas. No entanto, esta abordagem de “criar dados do zero” não é muito eficiente. Os dados de treinamento do GPT-4 são de cerca de 13 trilhões de tokens. Mesmo que 1.000 pessoas escrevam 5.000 palavras por dia, levará vários meses para produzir 1 bilhão de tokens.
Para acelerar o treinamento, a OpenAI também está tentando usar “dados sintéticos” gerados pela IA. No entanto, estudos demonstraram que o ciclo de feedback no qual os dados gerados pela IA são reutilizados para treino de IA por vezes faz com que o modelo cometa erros ou gere respostas sem sentido. A este respeito, os cientistas da OpenAI acreditam que estes problemas podem ser evitados utilizando os dados gerados pelo o1.
Problemas internos e externos: OpenAI enfrenta múltiplos desafios
A OpenAI não enfrenta apenas desafios técnicos, mas também turbulências internas e caça furtiva por parte dos concorrentes. Ao mesmo tempo, as pressões duplas da tecnologia e das finanças também estão a aumentar. Cada sessão de treinamento custa até US$ 500 milhões, e o custo final do treinamento provavelmente ultrapassará US$ 1 bilhão. Ao mesmo tempo, concorrentes como Anthropic e Google também estão lançando modelos de nova geração na tentativa de alcançar o OpenAI.
A fuga de cérebros e divergências internas retardaram ainda mais o desenvolvimento. No ano passado, o conselho de administração da OpenAI demitiu abruptamente Altman, levando alguns pesquisadores a questionar o futuro da empresa. Embora Altman tenha sido rapidamente reconduzido como CEO e começado a renovar a estrutura de governança da empresa, mais de 20 executivos-chave, pesquisadores e executivos de longo prazo, incluindo o cofundador e cientista-chefe Ilya Sutskever e o chefe de tecnologia Mira Murati, foram substituídos desde o início deste ano. Os funcionários estão saindo um após o outro.
À medida que o progresso do projeto Orion estagnou, a OpenAI começou a desenvolver outros projetos e aplicações, incluindo uma versão simplificada do GPT-4 e o produto de geração de vídeo AI Sora. Mas isso levou a uma competição acirrada entre diferentes equipes por recursos computacionais limitados, especialmente entre a equipe de desenvolvimento de novos produtos e a equipe de pesquisa da Orion.
Gargalo no desenvolvimento de IA? A indústria enfrenta uma reflexão aprofundada
A situação difícil do GPT-5 pode revelar uma proposta mais ampla da indústria: a IA está a aproximar-se do “período de estrangulamento” do desenvolvimento? O ex-cientista da OpenAI Suzkwer disse uma vez que "só temos uma Internet", o crescimento dos dados está desacelerando e o "combustível fóssil" que impulsiona o salto na IA está gradualmente secando.
Altman nunca deu um cronograma claro para o futuro do GPT-5. Ainda não sabemos ao certo quando ou se a OpenAI lançará um modelo digno de ser chamado de GPT-5. Este dilema sobre o GPT-5 também desencadeou uma reflexão aprofundada das pessoas sobre a direção futura do desenvolvimento da IA.
A estagnação do projeto GPT-5 não afeta apenas o desenvolvimento do OpenAI em si, mas também soa o alarme para toda a indústria de IA, sugerindo que o caminho de depender apenas da escala de dados e do tamanho do modelo pode ter chegado ao fim, e o futuro O desenvolvimento da IA precisa de explorar novas abordagens e avanços tecnológicos.