A pesquisa mais recente mostra que o modelo WaveCoder da Microsoft alcançou avanços significativos nas tarefas de geração de código. A equipe de pesquisa gerou efetivamente dados de instrução diversificados e de alta qualidade para treinamento de modelo por meio de extenso ajuste fino de instrução e usando o conjunto de dados CodeOcean para construir uma estrutura de gerador-discriminador baseada em LLM. Este estudo detalha o processo completo, desde o código original até o treinamento do modelo final, fornecendo novas ideias e métodos para melhorar o desempenho de grandes modelos de linguagem baseados em código.
A pesquisa mais recente aponta que o modelo Microsoft WaveCoder tem um bom desempenho em diferentes tarefas de codificação por meio de extenso ajuste de instruções. O estudo apresenta o conjunto de dados CodeOcean e propõe uma estrutura gerador-discriminador baseada em LLM para gerar diversos dados de instrução de alta qualidade. O modelo WaveCoder supera outros modelos em diversas tarefas, verificando sua eficiência. O estudo detalha todo o processo desde o código original até o modelo treinado e destaca a importante contribuição do método proposto na melhoria do desempenho do código LLM.
O sucesso do modelo WaveCoder comprova a eficácia da estrutura gerador-discriminador baseada em LLM e das extensas estratégias de ajuste de instruções para melhorar o desempenho de modelos de linguagem em larga escala no código. Esta pesquisa fornece informações valiosas para futuras melhorias no modelo de geração de código e também anuncia o desenvolvimento e a aplicação da tecnologia de geração de código.