Zhiyuan Research Institute telah merilis set pelatihan pembuatan kode baru TACO, yang bertujuan untuk meningkatkan kinerja model pembuatan kode. Kumpulan data TACO berskala besar, berkualitas tinggi, dan memberikan beragam jawaban pemecahan masalah serta label yang terperinci, memberikan tolok ukur yang lebih komprehensif untuk pelatihan dan evaluasi model. Hasil evaluasinya menunjukkan bahwa terdapat kesenjangan yang signifikan antara model mainstream yang ada dan GPT-4. Hal ini tidak hanya menyoroti peran TACO sebagai tolok ukur pengujian yang menantang, namun juga menunjukkan arah peningkatan model pembuatan kode di masa depan, yang menunjukkan hal ini. bahwa bidang ini akan terus ditingkatkan. Ada potensi besar untuk dikembangkan.
Hasil eksperimen menunjukkan bahwa model pembuatan kode yang populer saat ini sangat berbeda dengan GPT-4 dalam evaluasi TACO, yang menunjukkan bahwa masih ada ruang untuk perbaikan di bidang ini. Pelepasan kumpulan data TACO menyediakan sumber daya berharga untuk peningkatan model pembuatan kode dan mendorong pengembangan bidang ini. Hal ini patut mendapat perhatian dan studi mendalam dari para peneliti.
Kemunculan TACO telah membawa peluang dan tantangan baru dalam bidang pembuatan kode. Kumpulan data berskala besar dan berkualitas tinggi serta solusi evaluasi terperinci akan membantu mendorong lahirnya model pembuatan kode yang lebih kuat dan andal. Di masa depan, kita dapat menantikan lebih banyak hasil penelitian berdasarkan TACO untuk lebih meningkatkan tingkat teknologi pembuatan kode.