Meta Platforms telah merilis versi baru model Llama yang disederhanakan, Llama 3.21B dan 3B, yang memungkinkan pengoperasian model bahasa berskala besar secara stabil pada ponsel cerdas dan tablet biasa. Editor Downcodes akan menjelaskan kemajuan terobosan ini dan signifikansinya secara rinci.
Meta Platforms hari ini merilis versi baru model Llama yang disederhanakan, termasuk produk Llama3.21B dan 3B, yang untuk pertama kalinya memungkinkan pengoperasian model bahasa skala besar yang stabil pada ponsel cerdas dan tablet biasa. Dengan secara inovatif mengintegrasikan teknologi pelatihan kuantitatif dan algoritme pengoptimalan, versi baru ini mengurangi ukuran file sebesar 56%, mengurangi kebutuhan memori yang berjalan sebesar 41%, dan meningkatkan kecepatan pemrosesan hingga 4 kali lipat dari versi asli dengan tetap mempertahankan kualitas pemrosesan asli Teks 8.000 karakter.
Saat diuji pada ponsel Android, model AI terkompresi Meta (SpinQuant dan QLoRA) secara signifikan lebih cepat dan efisien dibandingkan versi standar. Model yang lebih kecil berjalan empat kali lebih cepat dengan menggunakan lebih sedikit memori
Dalam pengujian sebenarnya ponsel OnePlus12, versi terkompresi ini menunjukkan kinerja yang sebanding dengan versi standar, dan pada saat yang sama sangat meningkatkan efisiensi pengoperasian, secara efektif memecahkan masalah jangka panjang berupa kurangnya daya komputasi perangkat seluler. Meta telah memilih untuk mengadopsi strategi pasar kerja sama terbuka dan melakukan kerja sama mendalam dengan produsen prosesor seluler arus utama seperti Qualcomm dan MediaTek. Versi baru ini akan dirilis secara bersamaan melalui situs web resmi Llama dan platform Hugging Face, memberikan akses yang nyaman bagi pengembang saluran.
Strategi ini sangat kontras dengan raksasa lain di industri ini. Ketika Google dan Apple memilih untuk mengintegrasikan teknologi baru secara mendalam dengan sistem operasi mereka, jalur terbuka Meta memberikan ruang lebih besar bagi pengembang untuk berinovasi. Rilis ini menandai peralihan model pemrosesan data dari server terpusat ke terminal pribadi. Solusi pemrosesan lokal tidak hanya dapat melindungi privasi pengguna dengan lebih baik, namun juga memberikan pengalaman respons yang lebih cepat.
Terobosan teknologi ini mungkin memicu perubahan besar serupa dengan yang terjadi pada masa mempopulerkan komputer pribadi, meskipun masih menghadapi tantangan seperti persyaratan kinerja perangkat dan pemilihan platform pengembang. Seiring dengan peningkatan kinerja perangkat seluler, keunggulan solusi pemrosesan lokal secara bertahap akan muncul. Meta berharap dapat mendorong perkembangan seluruh industri ke arah yang lebih efisien dan aman melalui kerja sama terbuka dan membuka cara baru untuk pengembangan aplikasi perangkat seluler di masa depan.
Versi model Llama yang disederhanakan menghadirkan kemungkinan-kemungkinan baru untuk aplikasi AI seluler, dan strategi kerja sama terbukanya juga patut dipelajari dari industri. Di masa depan, seiring dengan semakin matangnya teknologi dan semakin populernya, pemrosesan AI yang dilokalkan akan menjadi tren utama.