Tim Kunlun Wanwei Yan Shuicheng berkolaborasi dengan Nanyang Technological University di Singapura untuk merilis proyek terobosan yang disebut Q*, yang bertujuan untuk secara signifikan meningkatkan kemampuan penalaran model bahasa kecil. Tidak seperti model bahasa besar lainnya di pasaran, Q* berfokus pada peningkatan performa model kecil, menjadikan kemampuan penalarannya sebanding dengan model dengan parameter puluhan atau bahkan ratusan kali lebih besar. Hasil penelitian ini diharapkan dapat mengubah keterbatasan model kecil dalam aplikasi praktis dan membawa peluang pengembangan baru di bidang kecerdasan buatan. Melalui algoritme inovatif, Q* telah meningkatkan kemampuan penalaran model kecil secara signifikan, dan mencapai hasil luar biasa yang melampaui model besar dalam berbagai pengujian benchmark.
Baru-baru ini, tim domestik Kunlun Wanwei Yan Shuicheng dan tim peneliti dari Nanyang Technological University di Singapura merilis sebuah proyek bernama Q*, yang bertujuan untuk meningkatkan kemampuan penalaran model kecil. Proyek ini berbeda dengan OpenAI, tetapi proyek ini dapat memungkinkan model kecil mencapai kemampuan penalaran model dengan parameter puluhan atau bahkan ratusan kali lebih besar darinya.
Tim peneliti mencapai hasil luar biasa melalui kinerja eksperimental algoritma Q*: pada kumpulan data GSM8K, Q* membantu Llama-2-7b meningkatkan akurasi hingga 80,8%, melampaui ChatGPT.
Pada kumpulan data MATH, Q* membantu DeepSeek-Math-7b meningkatkan akurasi sebesar 55,4%, melampaui Gemini Ultra.
Pada kumpulan data MBPP, Q* membantu CodeQwen1.5-7b-Chat meningkatkan akurasi hingga 77,0%, mempersempit kesenjangan tingkat pemrograman dengan GPT-4. Hasil ini menunjukkan potensi algoritma Q* dalam meningkatkan kemampuan penalaran model kecil.
Prinsip kerja algoritma Q* adalah menguraikan lintasan penalaran model bahasa besar menjadi beberapa keadaan, melakukan perencanaan keseluruhan untuk setiap keadaan, dan menggunakan algoritma pencarian A* untuk mencapai pencarian prioritas untuk tugas-tugas penalaran yang kompleks. Pada saat yang sama, mereka juga melatih model nilai Q agen melalui pembelajaran yang diawasi untuk mendapatkan nilai Q optimal dari pasangan tindakan-status, sehingga meningkatkan performa model.
Menyorot:
Proyek Q* tidak dirilis oleh OpenAI. Melalui algoritma tim peneliti, kemampuan penalaran model kecil telah meningkat pesat.
Proyek ini mencapai hasil eksperimen yang luar biasa pada beberapa kumpulan data, yang menunjukkan potensi dan efektivitas algoritma Q*.
Tautan makalah: https://arxiv.org/abs/2406.14283
Hasil penelitian proyek Q* memberikan arah baru untuk pengembangan model kecil. Algoritmanya yang efisien dan efek peningkatan yang signifikan patut mendapat perhatian. Kedepannya, algoritma ini diharapkan dapat diterapkan di lebih banyak bidang dan mendorong kemajuan teknologi kecerdasan buatan. Tautan ke makalah telah disediakan bagi pembaca yang tertarik untuk mempelajari lebih detail.