Baru -baru ini, para peneliti dari Stanford University dan University of Washington berhasil melatih model inferensi AI yang disebut S1, yang harganya hanya $ 50. Kinerja model dalam pengujian kemampuan matematika dan pemrograman sebanding dengan model O1 Openai dan model R1 Deepseek. Hasil ini telah memicu pemikiran baru tentang komersialisasi model AI dan juga menyebabkan kekhawatiran di antara laboratorium AI besar.
Tim peneliti mengekstraksi kemampuan inferensi yang diperlukan dari model dasar yang sudah jadi melalui teknologi distilasi dan dilatih menggunakan model eksperimental pemikiran gemini2.0 Google. Proses ini tidak hanya murah, tetapi juga pelatihan cepat.
Namun demikian, laboratorium AI besar tidak puas dengan fenomena model replikasi berbiaya rendah. Meta, Google dan Microsoft berencana untuk menginvestasikan ratusan miliar dolar dalam dua tahun ke depan untuk melatih model AI generasi berikutnya untuk mengkonsolidasikan posisi mereka di pasar.
Hasil penelitian S1 menunjukkan kemungkinan mencapai kinerja inferensi yang kuat melalui set data yang relatif kecil dan metode penyempurnaan yang diawasi, yang juga menyediakan arah baru untuk penelitian AI di masa depan.
Kertas: https://arxiv.org/pdf/2501.19393
Kode: https://github.com/simplescaling/s1
Poin -Poin Kunci:
Biaya pelatihan model S1 kurang dari US $ 50, dan kinerjanya sebanding dengan model inferensi teratas.
Melalui teknologi distilasi, tim peneliti mengekstraksi kemampuan penalaran dari model siap pakai, dan proses pelatihan cepat dan efisien.
Laboratorium AI besar telah menyatakan keprihatinan tentang situasi model replikasi berbiaya rendah, dan investasi akan fokus pada infrastruktur AI di masa depan.