llama stack
1.0.0
بداية سريعة | التوثيق | دليل الصفر إلى البطل
تحدد Llama Stack وتوحيد مجموعة من اللبنات الأساسية اللازمة لجلب تطبيقات الذكاء الاصطناعي التوليدية إلى السوق. يتم تقديم هذه العناصر الأساسية في شكل واجهات برمجة تطبيقات قابلة للتشغيل البيني مع مجموعة واسعة من مقدمي الخدمة الذين يقدمون تطبيقاتهم.
هدفنا هو توفير تطبيقات معدة مسبقًا يمكن تشغيلها في مجموعة متنوعة من بيئات النشر: يبدأ المطورون في التكرار مع أجهزة الكمبيوتر المكتبية أو أجهزتهم المحمولة ويمكنهم الانتقال بسلاسة إلى عمليات النشر المحلية أو السحابية العامة. في كل مرحلة من هذا التحول، تتوفر نفس مجموعة واجهات برمجة التطبيقات ونفس تجربة المطور.
⚠️ ملاحظة: تتحسن واجهات Stack API بسرعة، ولكن لا يزال هناك الكثير من العمل قيد التقدم وندعو إلى تقديم التعليقات بالإضافة إلى المساهمات المباشرة.
لدينا اليوم تطبيقات عملية لواجهات برمجة التطبيقات التالية:
الاستدلال
أمان
ذاكرة
الوكلاء
تقييم
القياس عن بعد
إلى جانب واجهات برمجة التطبيقات هذه، قمنا أيضًا بربط واجهات برمجة التطبيقات للعمل مع الموارد المرتبطة (راجع المفاهيم):
نماذج
الدروع
بنوك الذاكرة
EvalTasks
مجموعات البيانات
وظائف التسجيل
نحن نعمل أيضًا على واجهات برمجة التطبيقات التالية والتي سيتم إصدارها قريبًا:
ما بعد التدريب
توليد البيانات الاصطناعية
تسجيل المكافأة
كل واجهة من واجهات برمجة التطبيقات نفسها عبارة عن مجموعة من نقاط نهاية REST.
على عكس أطر العمل الأخرى، تم تصميم Llama Stack باستخدام نهج REST API الأول الموجه نحو الخدمة. لا يسمح مثل هذا التصميم بالانتقال السلس من النشر المحلي إلى النشر عن بعد فحسب، بل يفرض أيضًا على التصميم أن يكون أكثر وضوحًا. ونحن نعتقد أن هذا التقييد يمكن أن يؤدي إلى تجربة مطور أبسط وأكثر قوة. سيؤدي هذا بالضرورة إلى المقايضة مقابل التعبير، ولكن إذا حصلنا على واجهات برمجة التطبيقات بشكل صحيح، فقد يؤدي ذلك إلى منصة قوية جدًا.
نتوقع أن تكون مجموعة واجهات برمجة التطبيقات التي نصممها قابلة للتركيب. يعتمد الوكيل بشكل تجريدي على واجهات برمجة التطبيقات { Inference, Memory, Safety } ولكنه لا يهتم بتفاصيل التنفيذ الفعلية. قد تتطلب السلامة بحد ذاتها استدلالًا نموذجيًا، وبالتالي يمكن أن تعتمد على Inference API.
نتوقع تقديم حلول متكاملة لسيناريوهات النشر الشائعة. يجب أن يكون من السهل نشر خادم Llama Stack على AWS أو على مركز بيانات خاص. يجب أن يسمح أي من هذين الأمرين للمطور بالبدء في استخدام تطبيقات الوكيل القوية أو تقييمات النماذج أو خدمات الضبط الدقيق في غضون دقائق. يجب أن تؤدي جميعها إلى نفس إمكانية المراقبة الموحدة وتجربة المطور.
كمشروع بدأه Meta، بدأنا بالتركيز بشكل واضح على سلسلة نماذج Meta's Llama. إن دعم المجموعة الواسعة من النماذج المفتوحة ليس بالمهمة السهلة، ونريد أن نبدأ بالنماذج التي نفهمها بشكل أفضل.
هناك نظام بيئي نابض بالحياة من مقدمي الخدمات الذين يوفرون استدلالًا فعالاً أو مخازن متجهة قابلة للتطوير أو حلول قوية لقابلية المراقبة. نريد أن نتأكد من أنه من السهل على المطورين اختيار واختيار أفضل التطبيقات لحالات الاستخدام الخاصة بهم. نريد أيضًا التأكد من أنه من السهل على مقدمي الخدمة الجدد الانضمام والمشاركة في النظام البيئي.
بالإضافة إلى ذلك، قمنا بتصميم كل عنصر من عناصر Stack بحيث يمكن توحيد واجهات برمجة التطبيقات (APIs) وكذلك الموارد (مثل النماذج).
| منشئ موفر واجهة برمجة التطبيقات (API). | البيئات | الوكلاء | الاستدلال | ذاكرة | أمان | القياس عن بعد |
|---|---|---|---|---|---|---|
| مرجع ميتا | عقدة واحدة | ✔️ | ✔️ | ✔️ | ✔️ | ✔️ |
| ألعاب نارية | مستضاف | ✔️ | ✔️ | ✔️ | ||
| AWS الأساس | مستضاف | ✔️ | ✔️ | |||
| معاً | مستضاف | ✔️ | ✔️ | ✔️ | ||
| أولاما | عقدة واحدة | ✔️ | ||||
| تي جي آي | عقدة مستضافة ومفردة | ✔️ | ||||
| صفاء | عقدة واحدة | ✔️ | ||||
| ناقل PG | عقدة واحدة | ✔️ | ||||
| باي تورش إكيكوتورتش | iOS على الجهاز | ✔️ | ✔️ |
| توزيع | لاما ستاك دوكر | ابدأ هذا التوزيع |
|---|---|---|
| مرجع ميتا | llamastack/distribution-meta-reference-gpu | مرشد |
| مرجع ميتا الكمي | llamastack/distribution-meta-reference-quantized-gpu | مرشد |
| أولاما | llamastack/distribution-ollama | مرشد |
| تي جي آي | llamastack/distribution-tgi | مرشد |
| معاً | llamastack/التوزيع معًا | مرشد |
| ألعاب نارية | llamastack/التوزيع-الألعاب النارية | مرشد |
لديك طريقتان لتثبيت هذا المستودع:
التثبيت كحزمة : يمكنك تثبيت المستودع مباشرة من PyPI عن طريق تشغيل الأمر التالي:
نقطة تثبيت اللاما المكدس
التثبيت من المصدر : إذا كنت تفضل التثبيت من التعليمات البرمجية المصدر، فاتبع الخطوات التالية:
mkdir -p ~/local cd ~/local git clone [email protected]:meta-llama/llama-stack.git conda create -n stack python=3.10 كوندا تنشيط المكدس cd llama-stack $CONDA_PREFIX/bin/pip install -e .
يرجى مراجعة صفحة الوثائق لدينا لمزيد من التفاصيل.
مرجع سطر الأوامر
قم بتوجيه استخدام llama CLI للعمل مع نماذج Llama (التنزيل ومطالبات الدراسة) وإنشاء/بدء توزيع Llama Stack.
ابدء
دليل سريع لبدء خادم Llama Stack.
دفتر Jupyter للتعرف على كيفية استخدام واجهات برمجة تطبيقات llama_stack_client للاستدلال البسيط على النص والرؤية
دفتر ملاحظات Colab الكامل لدرس Llama Stack لدورة Llama 3.2 الجديدة على Deeplearning.ai.
دليل Zero-to-Hero يرشدك عبر جميع المكونات الرئيسية لمكدس اللاما مع عينات التعليمات البرمجية.
المساهمة
إضافة موفر واجهة برمجة تطبيقات جديد للتعرف على كيفية إضافة موفر واجهة برمجة تطبيقات جديد.
| لغة | عميل SDK | طَرد |
|---|---|---|
| بايثون | اللاما المكدس العميل بيثون | |
| سويفت | اللاما-كومة-العميل-سريع | |
| العقدة | عقدة العميل اللاما | |
| كوتلين | اللاما-كومة-العميل-kotlin |
تحقق من حزم SDK لعملائنا للاتصال بخادم Llama Stack بلغتك المفضلة، ويمكنك الاختيار من بين لغات برمجة python وnode وswift وkotlin لإنشاء تطبيقاتك بسرعة.
يمكنك العثور على المزيد من الأمثلة على البرامج النصية مع حزم SDK للعميل للتحدث مع خادم Llama Stack في مستودع تطبيقات llama-stack.
