Repositori ini berisi kode contoh JAX untuk memuat dan menjalankan model bobot terbuka Grok-1.
Pastikan untuk mengunduh pos pemeriksaan dan menempatkan direktori ckpt-0 di checkpoints - lihat Mengunduh bobot
Lalu, lari
instalasi pip -r persyaratan.txt python run.py
untuk menguji kodenya.
Skrip memuat pos pemeriksaan dan sampel dari model pada input pengujian.
Karena ukuran model yang besar (parameter 314B), diperlukan mesin dengan memori GPU yang cukup untuk menguji model dengan kode contoh. Implementasi lapisan MoE di repositori ini tidak efisien. Implementasinya dipilih untuk menghindari kebutuhan kernel khusus untuk memvalidasi kebenaran model.
Grok-1 saat ini dirancang dengan spesifikasi sebagai berikut:
Parameter: 314B
Arsitektur: Campuran 8 Ahli (MoE)
Pemanfaatan Pakar: 2 pakar digunakan per token
Lapisan: 64
Kepala Perhatian: 48 untuk kueri, 8 untuk kunci/nilai
Ukuran Penyematan: 6.144
Tokenisasi: Tokenizer SentencePiece dengan 131.072 token
Fitur Tambahan:
Penyematan putar (Tali)
Mendukung sharding aktivasi dan kuantisasi 8-bit
Panjang Urutan Maksimum (konteks): 8.192 token
Anda dapat mengunduh bobotnya menggunakan klien torrent dan tautan magnet ini:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
atau langsung menggunakan HuggingFace? Pusat:
git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer] huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
Kode dan bobot Grok-1 terkait dalam rilis ini dilisensikan di bawah lisensi Apache 2.0. Lisensi hanya berlaku untuk file sumber di repositori ini dan bobot model Grok-1.
