يحتوي هذا المستودع على رمز مثال JAX لتحميل وتشغيل نموذج الأوزان المفتوحة Grok-1.
تأكد من تنزيل نقطة التفتيش ووضع دليل ckpt-0 في checkpoints - راجع تنزيل الأوزان
ثم اركض
تثبيت النقطة -r متطلبات.txt بيثون run.py
لاختبار الكود.
يقوم البرنامج النصي بتحميل نقطة التحقق والعينات من النموذج على إدخال اختبار.
نظرًا للحجم الكبير للنموذج (معلمات 314B)، يلزم وجود جهاز مزود بذاكرة GPU كافية لاختبار النموذج باستخدام رمز المثال. إن تنفيذ طبقة MoE في هذا المستودع ليس فعالاً. تم اختيار التنفيذ لتجنب الحاجة إلى نواة مخصصة للتحقق من صحة النموذج.
تم تصميم Grok-1 حاليًا بالمواصفات التالية:
المعلمات: 314 ب
الهندسة المعمارية: مزيج من 8 خبراء (وزارة التربية والتعليم)
استخدام الخبراء: يتم استخدام خبيرين لكل رمز مميز
الطبقات: 64
رؤوس الانتباه: 48 للاستعلامات، و8 للمفاتيح/القيم
حجم التضمين: 6,144
الترميز: رمز SentencePiece مع 131,072 رمزًا
ميزات إضافية:
التضمينات الدوارة (حبل)
يدعم تقسيم التنشيط والتكميم 8 بت
الحد الأقصى لطول التسلسل (السياق): 8,192 رمزًا
يمكنك تنزيل الأوزان باستخدام عميل تورنت ورابط المغناطيس هذا:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
أو مباشرة باستخدام HuggingFace؟ مَركَز:
git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer] huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
تم ترخيص الكود وأوزان Grok-1 المرتبطة به في هذا الإصدار بموجب ترخيص Apache 2.0. ينطبق الترخيص فقط على الملفات المصدر الموجودة في هذا المستودع وأوزان طراز Grok-1.
