Di bidang kecerdasan buatan, melatih model bahasa besar (LLM) selalu menjadi tugas yang intensif sumber daya, biasanya hanya beberapa raksasa teknologi yang dapat dilakukan. Namun, metode Google yang baru -baru ini diluncurkan (Model Kecil Bantuan Pelatihan Model Besar) dapat sepenuhnya mengubah situasi ini. Inovasi ini tidak hanya mengurangi biaya pelatihan, tetapi juga meningkatkan kinerja model, membuka pintu untuk pengembangan AI untuk lebih banyak lembaga penelitian dan perusahaan.
Catatan Sumber Gambar: Gambar dihasilkan oleh AI, dan Penyedia Layanan Resmi Gambar Midjourney
Inti dari metode garam terletak pada proses pelatihan dua tahap. Tahap pertama adalah distilasi pengetahuan, dan model bahasa kecil (SLM) bertindak sebagai "guru", melewati pengetahuan yang dipelajari kepada model besar melalui "tag lunak". Tahap ini sangat cocok untuk tugas -tugas dasar yang telah dikuasai oleh model -model kecil, membantu model -model besar meletakkan dasar yang kuat dalam pembelajaran awal.
Tahap kedua adalah pembelajaran yang diarahkan sendiri, dengan model besar mulai belajar secara mandiri, fokus pada tugas yang lebih kompleks. Fase transisi ini membutuhkan desain yang cermat, termasuk strategi seperti atenuasi linier dan atenuasi proporsional linier, untuk memastikan bahwa model besar dapat secara bertahap mengurangi ketergantungan mereka pada model kecil dan pada akhirnya mencapai pembelajaran dan optimalisasi independen.
Penelitian Google menunjukkan bahwa menggunakan metode SALT untuk melatih model besar dengan 2,8 miliar parameter memiliki pengurangan waktu 28% dan telah meningkatkan akurasi dalam masalah matematika dan tugas pemahaman membaca masing -masing sebesar 3% dan 4%. Peningkatan kinerja yang signifikan ini tidak hanya menunjukkan efisiensi garam, tetapi juga menunjukkan potensi yang kuat dalam tugas -tugas kompleks.
Munculnya garam tidak hanya meningkatkan efisiensi pelatihan, tetapi juga menurunkan ambang batas untuk pengembangan AI. Di masa lalu, biaya pelatihan yang hanya mampu dibayar oleh perusahaan teknologi besar, dan sekarang banyak lembaga penelitian kecil dan perusahaan dapat berpartisipasi. Ini akan mempromosikan munculnya solusi AI yang lebih inovatif dan profesional dan lebih lanjut mempromosikan pengembangan bidang kecerdasan buatan.
Secara umum, metode garam tidak hanya meningkatkan kinerja model besar dengan memperkenalkan pelatihan tambahan model kecil, tetapi juga sangat mengurangi biaya pelatihan. Inovasi ini diharapkan memicu revolusi di bidang AI, memungkinkan lebih banyak lembaga untuk berpartisipasi dalam penelitian dan pengembangan AI dan mempromosikan kemajuan seluruh industri.