สถาบันวิจัย Zhiyuan ได้เปิดตัวชุดฝึกอบรมการสร้างโค้ดใหม่ TACO โดยมีเป้าหมายเพื่อปรับปรุงประสิทธิภาพของโมเดลการสร้างโค้ด ชุดข้อมูล TACO มีขนาดใหญ่ คุณภาพสูง และให้คำตอบในการแก้ปัญหาที่หลากหลายและมีป้ายกำกับที่ละเอียด มอบเกณฑ์มาตรฐานที่ครอบคลุมมากขึ้นสำหรับการฝึกโมเดลและการประเมินผล ผลการประเมินแสดงให้เห็นว่ามีช่องว่างที่สำคัญระหว่างโมเดลกระแสหลักที่มีอยู่และ GPT-4 ซึ่งไม่เพียงแต่เน้นย้ำถึงบทบาทของ TACO ในฐานะเกณฑ์มาตรฐานการทดสอบที่ท้าทาย แต่ยังชี้ให้เห็นทิศทางในการปรับปรุงโมเดลการสร้างโค้ดในอนาคตด้วย ซึ่งบ่งชี้ว่า ว่าสาขานี้จะพัฒนาต่อไป มีศักยภาพในการพัฒนาอย่างมาก
ผลการทดลองแสดงให้เห็นว่าโมเดลการสร้างโค้ดที่ได้รับความนิยมในปัจจุบันมีความแตกต่างอย่างมากจาก GPT-4 ในการประเมิน TACO ซึ่งบ่งชี้ว่ายังมีพื้นที่สำหรับการปรับปรุงในด้านนี้ การเปิดตัวชุดข้อมูล TACO ถือเป็นทรัพยากรที่มีคุณค่าสำหรับการปรับปรุงโมเดลการสร้างโค้ดและส่งเสริมการพัฒนาในสาขานี้ สมควรได้รับความสนใจและการศึกษาเชิงลึกของนักวิจัย
การเกิดขึ้นของ TACO ได้นำโอกาสและความท้าทายใหม่ๆ มาสู่วงการการสร้างโค้ด ชุดข้อมูลขนาดใหญ่และมีคุณภาพสูงและโซลูชันการประเมินโดยละเอียดจะช่วยส่งเสริมการกำเนิดโมเดลการสร้างโค้ดที่ทรงพลังและเชื่อถือได้มากขึ้น ในอนาคต เราหวังว่าจะได้รับผลการวิจัยเพิ่มเติมเกี่ยวกับ TACO เพื่อปรับปรุงระดับเทคโนโลยีการสร้างโค้ดให้ดียิ่งขึ้น