odsc llmops

LLMs من النموذج الأولي إلى الإنتاج

LLMOps، والهندسة السريعة، ونقل LLMs إلى السحابة

مرحبًا بك في مستودع GitHub لورشة عمل ODSC حول LLMOps. تم تصميم ورشة العمل هذه لمساعدتك على إطلاق الإمكانات الكاملة لـ LLMs من خلال التكميم والتقطير والضبط الدقيق وKubernetes وغير ذلك الكثير!

معظم دراسات الحالة هذه مأخوذة من كتابي: Quick Start Guide to LLMs

للمزيد من التفاصيل والانضمام إلى الورشة، اضغط هنا.

أجهزة الكمبيوتر المحمولة / الشرائح

تعمق في التطبيق العملي باستخدام دفاتر الملاحظات الشاملة لدينا. سترشدك هذه الدفاتر خطوة بخطوة خلال دراستي الحالة المشمولتين في ورشة العمل، مما يتيح لك تجربة تعليمية تفاعلية وعملية.

شرائح ورشة العمل

وهنا الشرائح لورشة العمل.

• الشرائح: [ODSC LLMOps](./slides/ODSC - LLMs من النموذج الأولي إلى الإنتاج.pdf)

دراسة الحالة 1: تحديد كمية اللاما 3

• تكميم Llama-3 ديناميكيًا - استخدام وحدات البت والبايت لتقدير نموذج في الوقت الفعلي عند التحميل. سوف نتحقق من الاختلافات قبل وبعد التكميم

• تعرف على كيفية تحميل نسخة محددة مسبقًا من Llama لمقارنة السرعة واستخدام الذاكرة:

  • العمل مع GGUF (بدون GPU)

  • العمل مع GGUF (مع GPU)

دراسة حالة رقم 2: تقطير ماجستير إدارة الأعمال

• تقطير نماذج BERT لتحسين السرعة/الذاكرة - تعرف على كيفية إجراء التقطير الخاص بالمهمة لتصغير نموذج BERT للتصنيف

دراسة الحالة 3: نشر Quantized Llama 3 باستخدام llama.cpp

• هذا الدليل لعرض K8s لاستخدام نماذج التضمين وLlama 3 مع GGUF على وحدة معالجة الرسومات

دراسة الحالة رقم 4: تقييم الذكاء الاصطناعي التوليدي

• تقييم LLMs باستخدام القواعد - استكشاف موجه التقييم لتقييم المخرجات التوليدية

• تقييم المحاذاة (إذا سمح الوقت) - معرفة كيف يمكن للماجستير في القانون الحكم على ردود الوكيل

دفاتر ملاحظات إضافية

فيما يلي بعض دفاتر الملاحظات التي أرجع إليها أثناء ورشة العمل ولكن لن يكون لدي الوقت الكافي لقراءتها:

شكرًا لك!

إذا استمتعت بدراسات الحالة، فيرجى التفكير في منح كتابي تقييم 5 نجوم على أمازون لأنه يساعدني حقًا كمؤلف! للمزيد من التفاصيل والانضمام إلى الورشة، اضغط هنا.