لعبة LLMO رائعة
جدول المحتويات
- جدول المحتويات
- ما هو LLMOps؟
- الهندسة السريعة
- نماذج
- تحسين
- الأدوات (جيثب)
- الأدوات (أخرى)
- RLHF
- مذهل
- المساهمة
ما هو LLMOps؟
يعد LLMOps جزءًا من ممارسات MLOps، وهو شكل متخصص من MLOps يركز على إدارة دورة الحياة الكاملة لنماذج اللغات الكبيرة (LLM).
بدءًا من عام 2021، مع تطور LLMs بسرعة ونضج التكنولوجيا، بدأنا في التركيز على ممارسات إدارة LLMs بكفاءة، وبدأ الحديث عن LLMOps، وهي عبارة عن تعديلات لممارسات MLOps التقليدية مع LLMs.
LLMOps مقابل MLOps
| LLMOps | MLOps |
---|
تعريف | الأدوات والبنية التحتية المخصصة لتطوير ونشر نماذج اللغات الكبيرة | الأدوات والبنية التحتية لسير عمل التعلم الآلي العام |
ركز | المتطلبات والتحديات الفريدة لنماذج اللغات الكبيرة | سير عمل التعلم الآلي العام |
التقنيات الرئيسية | نموذج اللغة، مكتبة المحولات، منصات التعليقات التوضيحية البشرية في الحلقة | Kubeflow، MLflow، TensorFlow الموسعة |
المهارات الأساسية | خبرة في البرمجة اللغوية العصبية ومعرفة نماذج اللغات الكبيرة وإدارة البيانات للبيانات النصية | هندسة البيانات، DevOps، هندسة البرمجيات، خبرة التعلم الآلي |
التحديات الرئيسية | إدارة وتصنيف كميات كبيرة من البيانات النصية، وضبط النماذج الأساسية لمهام محددة، وضمان العدالة والأخلاق في نماذج اللغة | إدارة خطوط أنابيب البيانات المعقدة، وضمان إمكانية تفسير النموذج وقابليته للتفسير، ومعالجة تحيز النموذج وعدالته |
اعتماد الصناعة | ناشئة، مع عدد متزايد من الشركات الناشئة والشركات التي تركز على LLMOps | تم تأسيسه مع وجود نظام بيئي كبير من الأدوات والأطر المتاحة |
النظرة المستقبلية | من المتوقع أن تصبح LLMOps مجالًا متزايد الأهمية للدراسة حيث أصبحت نماذج اللغة الكبيرة أكثر انتشارًا وقوة | ستظل MLOps عنصرًا حاسمًا في صناعة التعلم الآلي، مع التركيز على تحسين الكفاءة وقابلية التوسع وموثوقية النموذج |
⬆️ اذهب إلى الأعلى
الهندسة السريعة
- PromptBase - سوق الهندسة السريعة
- PromptHero - الموقع الإلكتروني للهندسة السريعة
- البحث السريع - محرك البحث للهندسة السريعة
- موجه مثالي - محسن المطالبة التلقائي
- تعلم المطالبة - الموقع التعليمي للهندسة السريعة
- المدونة: استكشاف هجمات الحقن الفوري
- المدونة: تسرب سريع
- الورقة: ضبط البادئة: تحسين المطالبات المستمرة للجيل
⬆️ اذهب إلى الأعلى
نماذج
اسم | حجم المعلمة | تاريخ الإعلان |
---|
بيرت-كبير (336 م) | 336 مليون | 2018 |
T5 (11ب) | 11 مليار | 2020 |
غوفر (280 ب) | 280 مليار | 2021 |
جي بي تي-ي (6ب) | 6 مليار | 2021 |
لامدا (137ب) | 137 مليار | 2021 |
ميجاترون تورينج NLG (530B) | 530 مليار | 2021 |
T0 (11ب) | 11 مليار | 2021 |
الببغاء (11ب) | 11 مليار | 2021 |
جلام (1.2T) | 1.2 تريليون | 2021 |
T5 فلان (540B) | 540 مليار | 2022 |
أوبت-175ب (175ب) | 175 مليار | 2022 |
تشات جي بي تي (175ب) | 175 مليار | 2022 |
جي بي تي 3.5 (175ب) | 175 مليار | 2022 |
اليكسا تي ام (20 ب) | 20 مليار | 2022 |
بلوم (176ب) | 176 مليار | 2022 |
بارد | لم يعلن بعد | 2023 |
جي بي تي 4 | لم يعلن بعد | 2023 |
رمز ألفا (41.4ب) | 41.4 مليار | 2022 |
شينشيلا (70 ب) | 70 مليار | 2022 |
العصفور (70ب) | 70 مليار | 2022 |
بالم (540ب) | 540 مليار | 2022 |
NLLB (54.5 ب) | 54.5 مليار | 2022 |
اليكسا TM (20 ب) | 20 مليار | 2022 |
جلاكتيكا (120ب) | 120 مليار | 2022 |
يو ال 2 (20 ب) | 20 مليار | 2022 |
الجوراسي-1 (178ب) | 178 مليار | 2022 |
اللاما (65ب) | 65 مليار | 2023 |
ستانفورد ألباكا (7 ب) | 7 مليار | 2023 |
جي بي تي-نيوكس 2.0 (20 بي) | 20 مليار | 2023 |
بلومبرج جي بي تي | 50 مليار | 2023 |
دوللي | 6 مليار | 2023 |
الجوراسي-2 | لم يعلن بعد | 2023 |
OpenAssistant LLaMa | 30 مليار | 2023 |
كوالا | 13 مليار | 2023 |
فيكونا | 13 مليار | 2023 |
بالم2 | لم يتم الإعلان عنه بعد، فهو أصغر من PaLM1 | 2023 |
ليما | 65 مليار | 2023 |
MPT | 7 مليار | 2023 |
فالكون | 40 مليار | 2023 |
اللاما 2 | 70 مليار | 2023 |
جوجل الجوزاء | لم يعلن بعد | 2023 |
مايكروسوفت فاي-2 | 2.7 مليار | 2023 |
جروك-0 | 33 مليار | 2023 |
جروك-1 | 314 مليار | 2023 |
الشمسية | 10.7 مليار | 2024 |
جيما | 7 مليار | 2024 |
جروك-1.5 | لم يعلن بعد | 2024 |
دي بي آر إكس | 132 مليار | 2024 |
كلود 3 | لم يعلن بعد | 2024 |
جيما 1.1 | 7 مليار | 2024 |
اللاما 3 | 70 مليار | 2024 |
⬆️ اذهب إلى الأعلى
تحسين
- المدونة: مقدمة لطيفة لضرب المصفوفة 8 بت للمحولات على نطاق واسع باستخدام محولات الوجه المعانقة، والتسريع، والبت ساندبايت
- المدونة: الضبط الدقيق لـ 20B LLMs باستخدام RLHF على وحدة معالجة الرسومات الاستهلاكية بسعة 24 جيجابايت
- المدونة: التعامل مع النماذج الكبيرة للاستدلال
- المدونة: كيفية ضبط نموذج الألبكة لأي لغة | بديل ChatGPT
- الورقة: LLM.int8(): ضرب مصفوفة 8 بت للمحولات على نطاق واسع
- الجوهر: برنامج نصي لتحليل/إعادة تكوين نماذج LLAMA LLM بعدد مختلف من القطع
⬆️ اذهب إلى الأعلى
الأدوات (جيثب)
- Stanford Alpaca - - مستودع لمشروع Stanford Alpaca، وهو نموذج تم ضبطه بدقة من نموذج LLaMA 7B على العروض التوضيحية التي تتبع التعليمات بمقدار 52 ألفًا.
- LoRA - - تنفيذ "LoRA: التكيف منخفض الرتبة لنماذج اللغات الكبيرة".
- دوللي - - نموذج لغة كبير تم تدريبه على منصة التعلم الآلي Databricks.
- DeepSpeed - - مكتبة تحسين التعلم العميق التي تجعل التدريب الموزع والاستدلال سهلاً وفعالاً وفعالاً.
- LMFlow - - مجموعة أدوات قابلة للتوسيع للضبط والاستدلال لنماذج الأساس الكبيرة. نموذج كبير للجميع.
- المطالبة - - أداة مساعدة / أخذها للهندسة السريعة.
- Auto-GPT - - محاولة تجريبية مفتوحة المصدر لجعل GPT-4 مستقلاً تمامًا.
- جارفيس - - نظام لربط LLMs بمجتمع ML، وهو موصل نموذج مركب عبر واجهة LLM.
- dalai - - أداة cli لتشغيل LLaMA على الجهاز المحلي.
- كومة قش - - إطار عمل البرمجة اللغوية العصبية مفتوح المصدر للتفاعل مع البيانات باستخدام نماذج المحولات وLLMs.
- langchain - - المكتبة التي تساعد في تطوير التطبيقات مع LLM.
- langflow - - واجهة مستخدم لـ LangChain، مصممة بتدفق تفاعلي لتوفير طريقة سهلة لتجربة التدفقات النموذجية.
- Deeplake - - بحيرة البيانات للتعلم العميق. إنشاء مجموعات البيانات وإدارتها والاستعلام عنها وإصدارها وتصورها.
- alpaca-lora - - قم بتوجيه ضبط LLaMA على الأجهزة الاستهلاكية.
- bosquet - - LLMOps للتطبيقات القائمة على نماذج اللغة الكبيرة.
- llama_index - - مشروع يوفر واجهة مركزية لربط LLM الخاص بك بالبيانات الخارجية.
- Gradio - - مساعد واجهة المستخدم لنموذج التعلم الآلي.
- sharegpt - - ملحق Chrome مفتوح المصدر يتيح لك مشاركة محادثات ChatGPT الأكثر وحشية بنقرة واحدة.
- keras-nlp - - مكتبة لمعالجة اللغات الطبيعية تدعم المستخدمين خلال دورة التطوير بأكملها.
- Snowkel AI - - منصة البيانات لنماذج الأساس.
- موجه - - مجموعة أدوات تعمل على تبسيط تطوير تطبيقات الذكاء الاصطناعي المستندة إلى LLM، بدءًا من التفكير وحتى النشر.
⬆️ اذهب إلى الأعلى
الأدوات (أخرى)
- PaLM2 API - خدمة واجهة برمجة التطبيقات التي تجعل PaLM2، نماذج اللغات الكبيرة (LLMs)، متاحة لـ Google Cloud Vertex AI.
- Perspective API - أداة يمكنها المساعدة في التخفيف من حدة المشكلة وضمان إجراء حوار صحي عبر الإنترنت.
⬆️ اذهب إلى الأعلى
RLHF
- التقييمات - - قائمة منسقة للتعلم المعزز بموارد التعليقات البشرية.
- trlx - - ريبو للتدريب الموزع لنماذج اللغة مع التعلم المعزز عبر الملاحظات البشرية. (RLHF)
- PaLM-rlhf-pytorch - - تنفيذ RLHF (التعلم المعزز بالملاحظات البشرية) أعلى بنية PaLM.
⬆️ اذهب إلى الأعلى
مذهل
- هانيبال046/رائع-LLM
- كينيثان سيير/مذهل
- f/awesome-chatgpt-prompts
- Promptslab/هندسة سريعة رائعة
- Tensorchord/awesome-open-source-llmops
- opendilab/awesome-RLHF
⬆️ اذهب إلى الأعلى
المساهمة
نحن نرحب بالمساهمات في قائمة LLMOps الرائعة! إذا كنت ترغب في اقتراح إضافة أو إجراء تصحيح، فيرجى اتباع الإرشادات التالية:
- افصل المستودع وأنشئ فرعًا جديدًا لمساهمتك.
- قم بإجراء التغييرات على الملف README.md.
- تأكد من أن مساهمتك ذات صلة بموضوع LLMOps.
- استخدم التنسيق التالي لإضافة مساهمتك:
[ Name of Resource ] (Link to Resource) - Description of resource
- أضف مساهمتك بالترتيب الأبجدي ضمن فئتها.
- تأكد من أن مساهمتك ليست مدرجة بالفعل.
- قدم وصفًا مختصرًا للمورد واشرح سبب ارتباطه بـ LLMOps.
- قم بإنشاء طلب سحب بعنوان واضح ووصف للتغييرات التي أجريتها.
نحن نقدر مساهماتك ونشكرك على المساعدة في جعل قائمة LLMOps الرائعة أكثر روعة!
⬆️ اذهب إلى الأعلى