بينتومل

إطار الخدمة النموذجي الموحد

؟ أنشئ واجهات برمجة تطبيقات استدلال النموذج وأنظمة تقديم متعددة النماذج باستخدام أي نماذج مفتوحة المصدر أو نماذج ذكاء اصطناعي مخصصة. انضم إلى مجتمع سلاك الخاص بنا!

ما هو بينتومل؟

BentoML هي مكتبة Python لبناء أنظمة تقديم عبر الإنترنت محسنة لتطبيقات الذكاء الاصطناعي واستدلال النماذج.

• ؟ يمكنك بسهولة إنشاء واجهات برمجة التطبيقات لأي نموذج AI/ML. قم بتحويل أي برنامج نصي لاستدلال النموذج إلى خادم REST API باستخدام بضعة أسطر فقط من التعليمات البرمجية وتلميحات نوع Python القياسية.
• ؟ أصبحت حاويات Docker بسيطة. لا مزيد من التبعية الجحيم! قم بإدارة بيئاتك وتبعياتك وإصدارات النماذج باستخدام ملف تكوين بسيط. يقوم BentoML تلقائيًا بإنشاء صور Docker، ويضمن إمكانية التكرار، ويبسط كيفية النشر في بيئات مختلفة.
• ؟ تعظيم الاستفادة من وحدة المعالجة المركزية/وحدة معالجة الرسومات. أنشئ واجهات برمجة التطبيقات الاستدلالية عالية الأداء للاستفادة من ميزات تحسين الخدمة المضمنة مثل التجميع الديناميكي وتوازي النماذج وخط الأنابيب متعدد المراحل وتنسيق الرسم البياني الاستدلالي متعدد النماذج.
• ‍ للتخصيص بالكامل. يمكنك تنفيذ واجهات برمجة التطبيقات أو قوائم انتظار المهام الخاصة بك بسهولة، باستخدام منطق الأعمال المخصص واستدلال النموذج والتكوين متعدد النماذج. يدعم أي إطار عمل وطريقة ووقت تشغيل للتعلم الآلي.
• جاهز للإنتاج. التطوير والتشغيل والتصحيح محليًا. النشر بسلاسة إلى الإنتاج باستخدام حاويات Docker أو BentoCloud.

ابدء

تثبيت بينتومل:

 # Requires Python≥3.9
pip install -U bentoml

تحديد واجهات برمجة التطبيقات في ملف service.py .

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]" style=";text-align:right;direction:rtl">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

قم بتشغيل رمز الخدمة محليًا (يخدم على http://localhost:3000 افتراضيًا):

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

يمكنك الآن تشغيل الاستدلال من متصفحك على http://localhost:3000 أو باستخدام برنامج Python النصي:

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

نشر أول Bento الخاص بك

لنشر رمز خدمة BentoML الخاص بك، قم أولاً بإنشاء ملف bentofile.yaml لتحديد تبعياته وبيئاته. ابحث عن القائمة الكاملة لخيارات bentofile هنا.

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

ثم اختر إحدى الطرق التالية للنشر:

؟ حاوية عامل الميناء

قم بتشغيل bentoml build لحزم التعليمات البرمجية والنماذج وتكوينات التبعية الضرورية في Bento - الأداة الموحدة القابلة للنشر في BentoML:

bentoml build

تأكد من تشغيل Docker. قم بإنشاء صورة حاوية Docker للنشر:

bentoml containerize summarization:latest

قم بتشغيل الصورة التي تم إنشاؤها:

docker run --rm -p 3000:3000 summarization:latest

☁️ بينتوكلاود

توفر BentoCloud بنية أساسية للحوسبة لاعتماد GenAI السريع والموثوق. فهو يساعد على تسريع عملية تطوير BentoML لديك من خلال الاستفادة من موارد الحوسبة السحابية، وتبسيط كيفية نشر BentoML وتوسيع نطاقه وتشغيله في الإنتاج.

قم بالتسجيل في BentoCloud للوصول الشخصي؛ بالنسبة لحالات الاستخدام المؤسسي، اتصل بفريقنا.

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy . 

للحصول على شرح تفصيلي، اقرأ مثال Hello World.

أمثلة

• LLMs: اللاما 3.2، ميكسترال، سولار، وميسترال.
• إنشاء الصور: Stable Diffusion 3 Medium، وStable Video Diffusion، وStable Diffusion XL Turbo، وControlNet، وLCM LoRAs.
• التضمين: SentenceTransformers وColPali
• الصوت: ChatTTS، XTTS، WhisperX، Bark
• رؤية الكمبيوتر: YOLO وResNet
• أمثلة متقدمة: استدعاء الوظائف، LangGraph، CrewAI

تحقق من القائمة الكاملة لمزيد من نماذج التعليمات البرمجية والاستخدام.

مواضيع متقدمة

• تكوين النموذج
• العمال والتوازي النموذجي
• التجميع التكيفي
• استنتاج GPU
• أنظمة الخدمة الموزعة
• التزامن والقياس التلقائي
• تحميل النموذج ومتجر النماذج
• إمكانية الملاحظة
• نشر BentoCloud

راجع الوثائق لمزيد من البرامج التعليمية والأدلة.

مجتمع

شارك وانضم إلى مجتمعنا Slack، حيث يساعد الآلاف من مهندسي الذكاء الاصطناعي/تعلم الآلة بعضهم البعض، ويساهمون في المشروع، ويتحدثون عن بناء منتجات الذكاء الاصطناعي.

للإبلاغ عن خطأ أو اقتراح طلب ميزة، استخدم مشكلات GitHub.

المساهمة

هناك طرق عديدة للمساهمة في المشروع:

• قم بالإبلاغ عن الأخطاء و"ممتاز" بشأن المشكلات ذات الصلة بك.
• التحقيق في المشكلات ومراجعة طلبات السحب الخاصة بالمطورين الآخرين.
• المساهمة بالكود أو الوثائق للمشروع عن طريق إرسال طلب سحب GitHub.
• راجع دليل المساهمة ودليل التطوير لمعرفة المزيد.
• شارك بملاحظاتك وناقش خطط خارطة الطريق في قناة #bentoml-contributors هنا.

شكرا لجميع المساهمين المذهلين لدينا!

تتبع الاستخدام وردود الفعل

يقوم إطار عمل BentoML بجمع بيانات الاستخدام المجهولة التي تساعد مجتمعنا على تحسين المنتج. يتم الإبلاغ عن مكالمات واجهة برمجة التطبيقات الداخلية الخاصة بـ BentoML فقط. وهذا يستثني أي معلومات حساسة، مثل رمز المستخدم أو بيانات النموذج أو أسماء النماذج أو تتبعات المكدس. إليك الكود المستخدم لتتبع الاستخدام. يمكنك إلغاء الاشتراك في تتبع الاستخدام من خلال خيار --do-not-track CLI:

bentoml [command] --do-not-track

أو عن طريق تحديد متغير البيئة:

 export BENTOML_DO_NOT_TRACK=True

رخصة

ترخيص أباتشي 2.0