Perusahaan xAI telah melakukan open source model ahli hybrid Grok-1 dengan 314 miliar parameter, yang telah menarik perhatian luas di bidang kecerdasan buatan. Bobot model dan arsitektur jaringan sepenuhnya terbuka, dan dilatih dari awal berdasarkan data teks dalam jumlah besar tanpa penyesuaian khusus aplikasi. Bobot aktivasi adalah 25%. Pustaka JAX dan bahasa Rust digunakan untuk pelatihan yang disesuaikan dan mematuhi lisensi Apache2.0, yang nyaman untuk digunakan oleh pengembang dan pengembangan sekunder. Model open source memberi para peneliti sumber belajar dan penelitian yang berharga, dan juga mendorong pengembangan lebih lanjut di bidang kecerdasan buatan. Meskipun beberapa peneliti percaya bahwa keterbukaannya perlu ditingkatkan, peluncuran Grok-1 tidak diragukan lagi merupakan kemajuan besar di bidang kecerdasan buatan.
Perusahaan xAI Musk mengumumkan bahwa mereka akan menjadi sumber terbuka model ahli hibrida “Grok-1” dengan 314 miliar parameter dengan bobot terbuka penuh dan arsitektur jaringan. Model ini dilatih dari awal tanpa penyesuaian khusus aplikasi. Model ini dilatih berdasarkan data teks dalam jumlah besar. Bobot aktivasi model MoE adalah 25%. Ia menggunakan perpustakaan JAX dan bahasa Rust untuk menyesuaikan tumpukan pelatihan dan mematuhi lisensi Apache2.0, dan popularitasnya terus meningkat. Repositori model menyediakan kode sampel JAX, yang memerlukan memori GPU besar, dan menyediakan tautan magnet untuk mengunduh file berat. Para peneliti menilai Grok-1 kurang terbuka dan lebih prediktif dibandingkan LLaMA-2, memberikan detail arsitektur model, dan meminta lebih banyak detail publik.
Sumber terbuka Grok-1, meskipun terdapat beberapa kontroversi dalam hal keterbukaan, kinerjanya yang kuat dan lisensi terbuka menjadikannya model yang patut diperhatikan dan diharapkan dapat mendorong pengembangan bidang model bahasa besar. Di masa depan, kami menantikan lebih banyak proyek sumber terbuka serupa yang muncul untuk bersama-sama mempromosikan kemajuan teknologi kecerdasan buatan. Akuisisi dan penggunaan model memerlukan batasan teknis tertentu, namun hal ini tidak menghalangi kontribusinya terhadap penelitian kecerdasan buatan.