Nos últimos anos, a tecnologia de IA generativa desenvolveu-se rapidamente, mas o método tradicional de simplesmente confiar no aumento dos dados e do poder computacional para melhorar o desempenho da IA atingiu um gargalo. O editor do Downcodes aprendeu que muitos dos principais cientistas de IA apontaram que o campo da IA está mudando de uma era de expansão em escala para um novo estágio que se concentra em inovações revolucionárias. Esta mudança significa que o desenvolvimento da IA prestará mais atenção à melhoria da qualidade do modelo, em vez de simplesmente prosseguir a expansão em escala. Novos caminhos e métodos técnicos estão sendo explorados e aplicados, trazendo novas oportunidades e desafios para o desenvolvimento futuro do campo da IA.
Com o rápido desenvolvimento da IA generativa, o entendimento tradicional da indústria de que quanto maior é melhor está a mudar. Muitos dos principais cientistas de IA declararam recentemente que o método de melhorar o desempenho da IA simplesmente aumentando a quantidade de dados e o poder de computação está se aproximando de um gargalo, e novas direções tecnológicas inovadoras estão surgindo.
Ilya Sutskever, cofundador da Safe Superintelligence e OpenAI, expressou recentemente sua opinião de que os métodos tradicionais de pré-treinamento atingiram um patamar de desempenho. Esta afirmação é particularmente surpreendente porque foi a sua defesa inicial de métodos de pré-treinamento em larga escala que deu origem ao ChatGPT. Hoje, ele disse que o campo da IA passou de uma era de expansão em escala para uma era de milagres e descobertas.
Atualmente, o treinamento de grandes modelos enfrenta múltiplos desafios: custos de treinamento de dezenas de milhões de dólares, risco de falha de hardware causado pela complexidade do sistema, longos ciclos de teste e limitações de recursos de dados e fornecimento de energia. Esses problemas levaram os pesquisadores a explorar novos caminhos tecnológicos.
Entre eles, a tecnologia de computação em tempo de teste recebeu ampla atenção. Essa abordagem permite que o modelo de IA gere e avalie múltiplas opções em tempo real durante o uso, em vez de fornecer diretamente uma única resposta. O pesquisador da OpenAI, Noam Brown, fez uma analogia vívida: pedir à IA que pense em um jogo de pôquer por 20 segundos é tão eficaz quanto expandir o tamanho do modelo e o tempo de treinamento em 100.000 vezes.
Atualmente, muitos dos principais laboratórios de IA, incluindo OpenAI, Anthropic, xAI e DeepMind, estão desenvolvendo ativamente suas próprias versões técnicas. A OpenAI aplicou essa tecnologia em seu mais recente modelo o1, e o diretor de produtos, Kevin Weil, disse que, por meio desses métodos inovadores, eles veem muitas oportunidades para melhorar o desempenho do modelo.
Os especialistas da indústria acreditam que esta mudança na rota tecnológica pode remodelar o cenário competitivo de toda a indústria de IA e mudar fundamentalmente a estrutura de procura das empresas de IA por vários recursos. Isto marca que o desenvolvimento da IA está a entrar numa nova fase que presta mais atenção à melhoria da qualidade do que à pura expansão em escala.
Novos avanços tecnológicos trouxeram novas oportunidades de desenvolvimento para a indústria de IA e também propuseram um novo pensamento sobre a direção futura do desenvolvimento da IA. O editor do Downcodes acredita que no desenvolvimento futuro, tecnologias mais inovadoras continuarão a surgir no campo da IA, promovendo o desenvolvimento da tecnologia de IA a um nível mais profundo e, em última análise, beneficiando a sociedade humana.