L'Institut de recherche Zhiyuan a publié un nouvel ensemble de formation à la génération de code TACO, visant à améliorer les performances des modèles de génération de code. L'ensemble de données TACO est à grande échelle, de haute qualité et fournit diverses réponses à des problèmes et des étiquettes à granularité fine, fournissant ainsi une référence plus complète pour la formation et l'évaluation des modèles. Ses résultats d'évaluation montrent qu'il existe un écart important entre les modèles traditionnels existants et GPT-4. Cela met non seulement en évidence le rôle de TACO en tant que référence de test difficile, mais indique également la direction à prendre pour l'amélioration des futurs modèles de génération de code, indiquant. que ce domaine continuera à s'améliorer. Il existe un énorme potentiel de développement.
Les résultats expérimentaux montrent que le modèle de génération de code actuellement populaire est significativement différent de GPT-4 dans l'évaluation TACO, ce qui indique qu'il y a encore place à l'amélioration dans ce domaine. La publication de l'ensemble de données TACO fournit des ressources précieuses pour l'amélioration des modèles de génération de code et favorise le développement de ce domaine. Elle mérite l'attention et une étude approfondie des chercheurs.
L'émergence de TACO a apporté de nouvelles opportunités et de nouveaux défis dans le domaine de la génération de code. Ses ensembles de données à grande échelle et de haute qualité et ses solutions d'évaluation détaillées contribueront à promouvoir la naissance de modèles de génération de code plus puissants et plus fiables. À l’avenir, nous pouvons nous attendre à davantage de résultats de recherche basés sur TACO pour améliorer encore le niveau de technologie de génération de code.