com.dbrx
1.0.0
DBRX هو نموذج لغة كبير تم تدريبه بواسطة Databricks، وتم توفيره بموجب ترخيص مفتوح. يحتوي هذا المستودع على الحد الأدنى من التعليمات البرمجية والأمثلة لتشغيل الاستدلال، بالإضافة إلى مجموعة من الموارد والروابط لاستخدام DBRX.
يمكن العثور على رمز النموذج المرجعي في هذا المستودع على modeling_dbrx.py.
ملاحظة: يتم توفير رمز النموذج هذا لأغراض مرجعية فقط، يرجى الاطلاع على مستودع Hugging Face للحصول على الإصدار الرسمي المدعوم.
DBRX هو نموذج مزيج من الخبراء (MoE) يحتوي على 132B من المعلمات الإجمالية و36B من المعلمات الحية. نستخدم 16 خبيرًا، 4 منهم ينشطون أثناء التدريب أو الاستدلال. تم تدريب DBRX مسبقًا على 12T من الرموز النصية. يبلغ طول سياق DBRX 32 ألف رمزًا.
النماذج التالية مفتوحة المصدر:
| نموذج | وصف |
|---|---|
| قاعدة دي بي آر إكس | النموذج الأساسي المدرب مسبقًا |
| تعليمات DBRX | نموذج دقيق للتعليمات التالية |
تم تدريب النموذج باستخدام إصدارات محسنة من مكتباتنا مفتوحة المصدر Composer وLLM Foundry وMegaBlocks وStreaming.
بالنسبة لنموذج التعليمات، استخدمنا تنسيق ChatML. يرجى الاطلاع على بطاقة نموذج DBRX Instruct لمزيد من المعلومات حول هذا الأمر.
لتنزيل الأوزان والرموز، يرجى أولاً زيارة صفحة DBRX Hugging Face وقبول الترخيص. ملحوظة: الوصول إلى النموذج الأساسي يتطلب موافقة يدوية.
نوصي بالحصول على ذاكرة لا تقل عن 320 جيجابايت لتشغيل النموذج.
ثم قم بتشغيل:
pip install -r requirements.txt # Or requirements-gpu.txt to use flash attention on GPU(s)
huggingface-cli login # Add your Hugging Face token in order to access the model
python generate.py # See generate.py to change the prompt and other settings
لمزيد من الاستخدام المتقدم، يرجى الاطلاع على LLM Foundry (نص الدردشة، نص إنشاء الدُفعات)
إذا كانت لديك أي مشكلات في تثبيت الحزمة، فنوصيك باستخدام صورة Docker الخاصة بنا: mosaicml/llm-foundry:2.2.1_cu121_flash2-latest
يمكن استخدام كل من TensorRT-LLM وvLLM لتشغيل الاستدلال الأمثل باستخدام DBRX. لقد اختبرنا كلا المكتبتين على أنظمة NVIDIA A100 وH100. لتشغيل الاستدلال بدقة 16 بت، يلزم وجود نظام متعدد وحدات معالجة الرسومات (GPU) بسعة 4 × 80 جيجابايت على الأقل.
تتم إضافة دعم DBRX إلى مكتبة TensorRT-LLM: Pending PR
بعد الدمج، يمكن العثور على تعليمات إنشاء وتشغيل محركات DBRX TensorRT على: README
الرجاء مراجعة مستندات vLLM للحصول على إرشادات حول كيفية تشغيل DBRX باستخدام محرك vLLM.
إذا كان لديك كمبيوتر محمول من Apple مزود بشريحة M-series قوية بما فيه الكفاية، فيمكن تشغيل الإصدار الكمي من DBRX باستخدام MLX. راجع تعليمات تشغيل DBRX على MLX هنا.
إذا كان لديك كمبيوتر محمول مزود بشريحة Apple M-series مزود بذاكرة وصول عشوائي (RAM) سعة 64 جيجابايت على الأقل، فيمكنك تشغيل إصدار مكمّم من DBRX باستخدام llama.cpp.
./main -ngl 41 -m ./models/ggml-dbrx-instruct-16x12b-iq1_s.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt
لضبط DBRX مع مكتبتنا مفتوحة المصدر LLM Foundry، يرجى الاطلاع على التعليمات الواردة في البرنامج النصي التدريبي الخاص بنا (الموجود هنا). لدينا دعم ضبط لكل من:
ملاحظة: لا يمكن لدعم LoRA حاليًا ضبط الخبراء، حيث يتم دمج الخبراء. ترقبوا المزيد.
يمكن العثور على البطاقات النموذجية على:
يتوفر DBRX على منصة Databricks من خلال:
أضاف مقدمو الخدمة الآخرون مؤخرًا دعمًا لـ DBRX:
نفس الأدوات المستخدمة لتدريب نماذج وزارة التربية والتعليم عالية الجودة مثل DBRX متاحة لعملاء Databricks. يرجى التواصل معنا على https://www.databricks.com/company/contact إذا كنت مهتمًا بالتدريب المسبق أو الضبط الدقيق أو نشر نماذج DBRX الخاصة بك!
بالنسبة للمشكلات المتعلقة بمخرجات النموذج أو مناقشة المجتمع، يرجى استخدام منتدى مجتمع Hugging Face (الإرشاد، القاعدة)
بالنسبة للمشكلات المتعلقة بـ LLM Foundry، أو أي من مكتبات التدريب الأساسية، يرجى فتح مشكلة في مستودع GitHub ذي الصلة.
إن الأوزان النموذجية والأكواد الخاصة بنا مرخصة لكل من الباحثين والكيانات التجارية. يمكن العثور على ترخيص Databricks مفتوح المصدر على LICENSE، ويمكن العثور على سياسة الاستخدام المقبول لدينا هنا.
