Исследовательский институт Чжиюань выпустил новый набор для обучения генерации кода TACO, целью которого является повышение производительности моделей генерации кода. Набор данных TACO большой по размеру, высокого качества и предоставляет разнообразные ответы для решения проблем и детальные метки, обеспечивая более полный эталон для обучения и оценки моделей. Результаты его оценки показывают, что существует значительный разрыв между существующими основными моделями и GPT-4. Это не только подчеркивает роль TACO как сложного эталонного теста, но и указывает направление для улучшения будущих моделей генерации кода. что эта область будет продолжать совершенствоваться. Существует огромный потенциал для развития.
Результаты экспериментов показывают, что популярная в настоящее время модель генерации кода значительно отличается от GPT-4 в оценке TACO, что указывает на то, что в этой области еще есть возможности для улучшения. Выпуск набора данных TACO предоставляет ценные ресурсы для улучшения моделей генерации кода и способствует развитию этой области. Он заслуживает внимания и углубленного изучения исследователей.
Появление TACO принесло новые возможности и проблемы в область генерации кода. Ее крупномасштабные, высококачественные наборы данных и подробные решения для оценки будут способствовать появлению более мощных и надежных моделей генерации кода. В будущем мы можем рассчитывать на дополнительные результаты исследований на основе TACO для дальнейшего повышения уровня технологии генерации кода.