databricks llm prompt engineering

نماذج لغوية كبيرة (LLMS) والهندسة السريعة مع وجه المعانقة ، و Databricks و MLFlow

محتويات

• يغطي الريبو حالات الاستخدام المختلفة المتعلقة بالهندسة المطالبة ونماذج اللغة الكبيرة (LLMS) .
• الاستكشاف والاستغلال : يحتوي Repo على أجهزة الكمبيوتر المحمولة لتجربة LLM مع تقنيات هندسية مختلفة. كما أنه يعرض نشر LLM باستخدام نموذج Databricks الذي يخدم مع دعم GPU.
• يشحن هذا الريبو أيضًا مع تطبيق واجهة تجريبية تم تطويره باستخدام Gradio

اعتبارًا من 29/08/2023 ، ستجد الأمثلة التالية في مجلد notebooks :

؟؟ customer_service

قطعة أثرية	وصف
hf_mlflow_crash_course	؟ يوفر مثالاً أساسياً باستخدام وجه المعانقة لتدريب نموذج تصنيف النوايا باستخدام distilbert-qa . يعرض أيضًا المفاهيم التأسيسية لـ MLFLOW ، مثل تتبع التجربة ، وتسجيل قطعة أثرية وتسجيل النماذج.
primer	؟ في الغالب دفتر ملاحظات مفاهيمي. يحتوي على تفسيرات حول الهندسة السريعة ، والمفاهيم التأسيسية مثل أخذ العينات العليا K ، وأخذ أخذ العينات أعلى ودرجة الحرارة .
basic_prompt_evaluation	؟ يوضح المحرك المطري الأساسي مع نماذج LLM خفيفة الوزن. بالإضافة إلى ذلك ، يعرض أحدث ميزات LLM من MLFLOW ، مثل mlflow.evaluate() .
few_shot_learning	؟ هنا نستكشف عدد قليل من التعلم مع LLM القائم على التعليمات (MPT-7B-instruct).
active_prompting	؟ ‍ في هذا الكمبيوتر الدفتري ، نستكشف تقنيات المطالبة النشطة. بالإضافة إلى ذلك ، نوضح كيفية الاستفادة من VLLM من أجل تحقيق تحسينات الكمون في الاستدلال 7x - 10x.
llama2_mlflow_logging_inference	هنا نعرض كيفية تسجيل وتسجيل ونشر نموذج Llama V2 في MLFlow
mpt_mlflow_logging_inference	نعرض هنا كيفية تسجيل وتسجيل ونشر نموذج MPT-instruct في MLFLOW. بشكل مختلف عن مثال LLAMA V2 ، نقوم هنا بتحميل الأوزان النموذجية مباشرة في نقطة النهاية التي تخدم النموذج عند تهيئة نقطة النهاية ، دون تحميل القطع الأثرية إلى سجل نموذج MLFLOW.
frontend	؟ مثال شامل على تطبيق تجريبي للواجهة الأمامية والذي يتصل بأحد نقاط النهاية التي يتم نشرها في دفتر الملاحظات السابق باستخدام Gradio

ابدء

للبدء في استخدام هذا الريبو على بيانات البيانات ، هناك عدد قليل من التألق المسبق:

1. قم بإنشاء مجموعة GPU ، إلى الحد الأدنى مع وقت تشغيل Databricks Machine Learning 13.2 GPU و NVIDIA T4 GPU (إما A10 أو A100 مطلوب للخطوات التي تتضمن VLLM).
2. (فقط في حالة استخدام Databricks MLR <13.2) قم بتثبيت تبعيات إضافية CUDA
   • أولاً ، استنساخ هذا الريبو إلى مساحة العمل الخاصة بك
   • قم بتكوين برنامج نصي init في المجموعة الخاصة بك عن طريق الإشارة إلى المسار التالي في تكوين البرنامج النصي: /Repos/[email protected]/databricks-llm-prompt-engineering/init/init.sh
3. (فقط إذا كنت تستخدم نماذج MPT) قم بتثبيت حزم Python التالية في المجموعة الخاصة بك:

accelerate==0.21.0
einops==0.6.1
flash-attn==v1.0.5
ninja
tokenizers==0.13.3
transformers==4.30.2
xformers==0.0.20

4. بمجرد أن تنتهي جميع التبعيات من التثبيت وبدأت المجموعة بنجاح ، يجب أن تكون على ما يرام.

خريطة الطريق

؟ تطبيق الويب Frontend باستخدام Gradio
النشر النموذجي والاستدلال في الوقت الحقيقي
؟ الجيل المعزز للاسترجاع (خرقة)
؟ ️ Mlflow AI Gateway

الاعتمادات والمرجع

• رافائيل بيير
• دانييل ليدين
• البدء مع NLP باستخدام محولات الوجه المعانقة
• Dair.ai - دليل هندسة سريعة
• بيتر تشنغ-استراتيجيات اختيار الرمز المميز: Top-K ، Top-P ودرجة الحرارة
• Databricks ML أمثلة ونماذج LLM