El Instituto de Investigación Zhiyuan ha lanzado un nuevo conjunto de capacitación en generación de código TACO, con el objetivo de mejorar el rendimiento de los modelos de generación de código. El conjunto de datos TACO es de gran escala, alta calidad y proporciona diversas respuestas de resolución de problemas y etiquetas detalladas, lo que proporciona un punto de referencia más completo para la capacitación y evaluación de modelos. Los resultados de su evaluación muestran que existe una brecha significativa entre los modelos convencionales existentes y GPT-4. Esto no solo resalta el papel de TACO como un punto de referencia de prueba desafiante, sino que también señala la dirección para la mejora de futuros modelos de generación de código, lo que indica. que este campo seguirá mejorando. Hay un enorme potencial de desarrollo.
Los resultados experimentales muestran que el modelo de generación de código actualmente popular es significativamente diferente de GPT-4 en la evaluación TACO, lo que indica que todavía hay margen de mejora en este campo. La publicación del conjunto de datos TACO proporciona recursos valiosos para mejorar los modelos de generación de código y promueve el desarrollo de este campo. Merece la atención y el estudio en profundidad de los investigadores.
El surgimiento de TACO ha traído nuevas oportunidades y desafíos al campo de la generación de código. Sus conjuntos de datos de alta calidad y gran escala y sus soluciones de evaluación detallada ayudarán a promover el nacimiento de modelos de generación de código más potentes y confiables. En el futuro, podemos esperar más resultados de investigación basados en TACO para mejorar aún más el nivel de la tecnología de generación de código.