Laporan editor downcode: Meta AI telah meluncurkan MobileLLM, model bahasa baru dan efisien yang dirancang untuk perangkat dengan sumber daya terbatas seperti ponsel cerdas. Hal ini menantang pemahaman tradisional tentang skala model bahasa besar. Jumlah parameternya jauh lebih kecil dibandingkan model raksasa seperti GPT-4, namun memiliki performa yang baik dalam pengujian benchmark. Hasil penelitian yang diselesaikan oleh tim Meta Reality Labs, PyTorch, dan Meta AI Research ini dirilis pada 27 Juni 2024, memberikan arah baru bagi pengembangan model AI yang ringan.
Peneliti MetaAI telah meluncurkan MobileLLM, sebuah pendekatan baru untuk merancang model bahasa yang efisien untuk ponsel cerdas dan perangkat dengan sumber daya terbatas lainnya. Studi yang dipublikasikan pada 27 Juni 2024 ini menantang asumsi mengenai perlunya skala model AI yang efektif.
Tim peneliti, yang terdiri dari anggota Meta Reality Labs, PyTorch, dan Meta AI Research (FAIR), berfokus pada pengoptimalan model dengan kurang dari 1 miliar parameter. Ini hanyalah sebagian kecil dari model seperti GPT-4, yang diperkirakan memiliki lebih dari satu triliun parameter.
Inovasi utama MobileLLM meliputi:
Pilihan desain ini memungkinkan MobileLLM mengungguli model sebelumnya dengan ukuran serupa sebesar 2,7% hingga 4,3% pada tugas benchmark umum. Meskipun peningkatan satu digit ini mungkin tampak kecil, hal ini menunjukkan kemajuan yang signifikan dalam bidang pengembangan model bahasa yang sangat kompetitif.
Khususnya, pada tugas panggilan API tertentu, versi MobileLLM dengan 350 juta parameter menunjukkan akurasi yang sebanding dengan model LLaMA-2 yang memiliki 7 miliar parameter. Hal ini menunjukkan bahwa, untuk beberapa aplikasi spesifik, model yang lebih ringkas mungkin menyediakan fungsionalitas serupa dengan menggunakan sumber daya komputasi yang lebih sedikit.
Perkembangan MobileLLM bertepatan dengan meningkatnya minat terhadap model AI yang lebih efisien. Ketika kemajuan dalam model bahasa yang sangat besar menunjukkan tanda-tanda melambat, para peneliti semakin mengeksplorasi potensi desain yang lebih kompak dan terspesialisasi. Terlepas dari namanya "LLM", fokus pada efisiensi dan penerapan perangkat menempatkan MobileLLM dalam kategori yang sama dengan apa yang oleh beberapa peneliti disebut model bahasa kecil (SLM).
Meskipun MobileLLM belum tersedia untuk umum, Meta telah menjadikan kode pra-pelatihan menjadi sumber terbuka, sehingga memungkinkan peneliti lain untuk mengembangkan karyanya. Seiring berkembangnya teknologi, teknologi ini mungkin menghadirkan kemampuan AI yang lebih canggih pada perangkat pribadi, meskipun garis waktu dan kemampuan spesifiknya masih belum pasti.
Kemunculan MobileLLM menunjukkan bahwa model AI yang ringan dan efisien akan menjadi tren penting dalam pengembangan di masa depan, menghadirkan kemampuan AI yang lebih kuat ke lebih banyak perangkat. Redaksi Downcodes akan terus memperhatikan kemajuan teknologi ini selanjutnya.