Penelitian baru dari tim peneliti di University of Illinois di Urbana-Champaign menunjukkan bahwa mengintegrasikan kode ke dalam data pelatihan model bahasa besar (LLM) dapat meningkatkan performa dan kemampuan model secara signifikan. Studi ini menyelidiki dampak pra-pelatihan kode pada LLM dan menganalisis kinerja LLM sebagai agen. Hasil penelitian menunjukkan bahwa integrasi kode dapat memberi LLM kemampuan untuk melakukan tugas dengan lebih akurat, memperoleh pengetahuan eksternal, dan memproses banyak data modal. Namun, penelitian ini juga menunjukkan perlunya kehati-hatian saat memilih sinyal umpan balik dan menekankan pentingnya meningkatkan atribut kode dalam data pelatihan untuk lebih meningkatkan kemampuan inferensi model.
Penelitian dari Universitas Illinois di Urbana-Champaign menguraikan dampak pra-pelatihan kode pada LLM dan menelusuri perannya sebagai agen cerdas. Melalui integrasi kode, model dapat melakukan tugas dengan lebih akurat dan memiliki kemampuan untuk memperoleh pengetahuan eksternal dan berbagai data modal. Namun, kehati-hatian diperlukan saat memilih sinyal umpan balik, karena isyarat yang bising dapat memengaruhi performa model pada tugas hilir. Selain itu, para peneliti percaya bahwa meningkatkan atribut kode dalam data pelatihan dapat secara langsung meningkatkan kemampuan inferensi model. Penelitian ini memberikan lebih banyak peluang untuk lebih meningkatkan kemampuan inferensi model, namun juga perlu mengatasi tantangan yang dihadapi ketika model dihubungkan ke terminal fungsional yang berbeda.
Penelitian ini memberikan referensi berharga untuk pengembangan LLM, dan penelitian di masa depan akan mengeksplorasi lebih jauh bagaimana memanfaatkan data kode dengan lebih baik sambil memecahkan tantangan yang mungkin dihadapi model dalam aplikasi praktis untuk mendorong kemajuan berkelanjutan dari teknologi LLM dan aplikasi yang lebih luas.