mixtral offloading
1.0.0
ينفذ هذا المشروع الاستدلال الفعال لنماذج Mixtral-8x7B.
باختصار، يمكننا تحقيق استنتاج فعال لنماذج Mixtral-8x7B من خلال مجموعة من التقنيات:
للحصول على معلومات أكثر تفصيلاً حول أساليبنا ونتائجنا، يرجى الرجوع إلى تقريرنا الفني.
لتجربة هذا العرض التوضيحي، يرجى استخدام دفتر الملاحظات التجريبي: ./notebooks/demo.ipynb أو
في الوقت الحالي، لا يوجد برنامج نصي لسطر الأوامر متاح لتشغيل النموذج محليًا. ومع ذلك، يمكنك إنشاء واحد باستخدام دفتر الملاحظات التجريبي كمرجع. ومع ذلك، المساهمات هي موضع ترحيب!
بعض التقنيات الموضحة في تقريرنا الفني ليست متاحة بعد في هذا الريبو. ومع ذلك، فإننا نعمل بنشاط على إضافة الدعم لهم في المستقبل القريب.
بعض الميزات القادمة هي:
