A Cognition lançou o incrível programador de IA Genie, que venceu Devin e GPT-4 com uma pontuação de 30,08% na plataforma de testes oficial SWE-Bench, tornando-se o assistente de programação de IA mais forte do mundo. O editor de Downcodes lhe dará uma compreensão profunda dos avanços tecnológicos e das perspectivas futuras por trás do Genie.
A startup de IA Cognition lançou um novo programador de IA "Genie". Seu desempenho é incrível. Ele derrotou instantaneamente Devin e GPT-4 e se tornou o assistente de programação de IA mais poderoso do mundo.
Este programador de IA obteve pontuação de até 30,08% na plataforma de testes confiável SWE-Bench, superando em muito os 13,8% de Devin e os 12,47% de Swe-agent+GPT-4.
Você pode estar se perguntando: como o Genie faz isso? Já em dezembro de 2022, o cofundador do Genie, Alistair Pullen, demonstrou este projeto na Universidade de Londres. Ele espera criar um programa de IA que possa codificar, depurar e otimizar automaticamente como humanos. Depois de mais de um ano de desenvolvimento, o Genie finalmente entrou na fase de testes e recebeu US$ 2,5 milhões em financiamento inicial.
Alistair mencionou que o sucesso do Genie está intimamente relacionado aos seus dados e métodos de treinamento. Ao contrário do ajuste fino tradicional de grandes modelos, o Genie usa um conjunto de dados especial que incorpora o processo de raciocínio de programadores humanos. Os dados abrangem a descoberta passo a passo do conhecimento e o processo de tomada de decisão baseado em casos, permitindo que a Genie demonstre julgamento semelhante ao de um engenheiro humano quando confrontado com problemas complexos.
Além disso, o Genie também usa um "mecanismo de autoaperfeiçoamento" exclusivo. Inicialmente, o Genie treinou com dados de alta qualidade e alcançou um estado "perfeito", mas no processo, o Genie não conseguiu julgar seus próprios erros e não conseguiu melhorar. Para superar esse problema, os desenvolvedores usaram o Genie para gerar alguns dados sintéticos para enriquecer ainda mais o conteúdo do treinamento. É como uma mãe ensinando seu filho a andar e dando as orientações corretas após cada queda.
Depois de muitas iterações de treinamento, as habilidades do Genie melhoraram bastante e ele pode até mostrar soluções criativas para problemas invisíveis. Funcionalmente, o Genie oferece suporte a uma variedade de tarefas de desenvolvimento, incluindo desenvolvimento de funções, reparo de BUG, refatoração de código, teste de código, etc., abrangendo dezenas de linguagens de programação, como JavaScript, Python e Java.
Agora, o Genie abriu aplicativos para uso experimental. Você pode se registrar através do site oficial. As permissões de teste devem ser emitidas nas próximas semanas.
Blog oficial: https://cosine.sh/blog/state-of-the-art
Endereço da experiência: https://cosine.sh/register
Destaque:
Genie obteve pontuação de 30,08% no teste SWE-Bench, tornando-se o programador de IA mais forte do mundo.
Usando conjuntos de dados especiais e mecanismos de autoaperfeiçoamento, o Genie se destaca em codificação complexa.
?O pedido de teste está aberto e mais recursos surpresa serão lançados no futuro!
O surgimento do Genie marca um novo avanço no campo dos assistentes de programação de IA. Seu método de treinamento exclusivo e mecanismo de autoaperfeiçoamento merecem a atenção da indústria. O editor do Downcodes espera que o Genie traga mais surpresas para os desenvolvedores no futuro!