BentoML

Unified Model Serving Framework

? Erstellen Sie Modellinferenz-APIs und Multimodell-Bereitstellungssysteme mit beliebigen Open-Source- oder benutzerdefinierten KI-Modellen. Treten Sie unserer Slack-Community bei!

Was ist BentoML?

BentoML ist eine Python-Bibliothek zum Aufbau von Online-Bereitstellungssystemen, die für KI-Apps und Modellinferenz optimiert sind.

• ? Erstellen Sie ganz einfach APIs für jedes AI/ML-Modell. Verwandeln Sie jedes Modellinferenzskript mit nur wenigen Codezeilen und standardmäßigen Python-Typhinweisen in einen REST-API-Server.
• ? Docker-Container leicht gemacht. Keine Abhängigkeitshölle mehr! Verwalten Sie Ihre Umgebungen, Abhängigkeiten und Modellversionen mit einer einfachen Konfigurationsdatei. BentoML generiert automatisch Docker-Images, gewährleistet die Reproduzierbarkeit und vereinfacht die Bereitstellung in verschiedenen Umgebungen.
• ? Maximieren Sie die CPU-/GPU-Auslastung. Erstellen Sie leistungsstarke Inferenz-APIs und nutzen Sie integrierte Funktionen zur Bereitstellungsoptimierung wie dynamisches Batching, Modellparallelität, mehrstufige Pipeline und Orchestrierung von Inferenzgraphen mit mehreren Modellen.
• ?‍ Vollständig anpassbar. Implementieren Sie ganz einfach Ihre eigenen APIs oder Aufgabenwarteschlangen mit benutzerdefinierter Geschäftslogik, Modellinferenz und Multi-Modell-Komposition. Unterstützt alle ML-Frameworks, Modalitäten und Inferenzlaufzeiten.
• Bereit für die Produktion. Lokal entwickeln, ausführen und debuggen. Nahtlose Bereitstellung in der Produktion mit Docker-Containern oder BentoCloud.

Erste Schritte

BentoML installieren:

 # Requires Python≥3.9
pip install -U bentoml

Definieren Sie APIs in einer service.py Datei.

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

Führen Sie den Dienstcode lokal aus (standardmäßig unter http://localhost:3000 bereitgestellt):

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

Jetzt können Sie die Inferenz über Ihren Browser unter http://localhost:3000 oder mit einem Python-Skript ausführen:

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

Bereitstellen Ihres ersten Bento

Um Ihren BentoML-Dienstcode bereitzustellen, erstellen Sie zunächst eine Datei bentofile.yaml um deren Abhängigkeiten und Umgebungen zu definieren. Die vollständige Liste der Bentofile-Optionen finden Sie hier.

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

Wählen Sie dann eine der folgenden Bereitstellungsmethoden:

? Docker-Container

Führen Sie bentoml build aus, um den erforderlichen Code, Modelle und Abhängigkeitskonfigurationen in ein Bento zu packen – das standardisierte bereitstellbare Artefakt in BentoML:

bentoml build

Stellen Sie sicher, dass Docker ausgeführt wird. Generieren Sie ein Docker-Container-Image für die Bereitstellung:

bentoml containerize summarization:latest

Führen Sie das generierte Bild aus:

docker run --rm -p 3000:3000 summarization:latest

☁️ BentoCloud

BentoCloud bietet eine Recheninfrastruktur für eine schnelle und zuverlässige GenAI-Einführung. Es beschleunigt Ihren BentoML-Entwicklungsprozess durch die Nutzung von Cloud-Computing-Ressourcen und vereinfacht die Bereitstellung, Skalierung und den Betrieb von BentoML in der Produktion.

Melden Sie sich für BentoCloud an, um persönlichen Zugang zu erhalten. Für Unternehmensanwendungsfälle kontaktieren Sie unser Team.

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy . 

Ausführliche Erklärungen finden Sie im Hello World-Beispiel.

Beispiele

• LLMs: Llama 3.2, Mixtral, Solar und Mistral.
• Bilderzeugung: Stable Diffusion 3 Medium, Stable Video Diffusion, Stable Diffusion XL Turbo, ControlNet und LCM LoRAs.
• Einbettungen: SentenceTransformers und ColPali
• Audio: ChatTTS, XTTS, WhisperX, Bark
• Computer Vision: YOLO und ResNet
• Erweiterte Beispiele: Funktionsaufruf, LangGraph, CrewAI

Weitere Beispielcodes und Verwendungszwecke finden Sie in der vollständigen Liste.

Fortgeschrittene Themen

• Modellzusammensetzung
• Arbeiter und Modellparallelisierung
• Adaptives Batching
• GPU-Schlussfolgerung
• Verteilte Serviersysteme
• Parallelität und Autoskalierung
• Modellladen und Modellspeicher
• Beobachtbarkeit
• BentoCloud-Bereitstellung

Weitere Tutorials und Anleitungen finden Sie in der Dokumentation.

Gemeinschaft

Machen Sie mit und treten Sie unserem Community Slack bei, wo Tausende von KI-/ML-Ingenieuren sich gegenseitig helfen, zum Projekt beitragen und über die Entwicklung von KI-Produkten sprechen.

Um einen Fehler zu melden oder eine Funktionsanfrage vorzuschlagen, verwenden Sie GitHub Issues.

Mitwirken

Es gibt viele Möglichkeiten, zum Projekt beizutragen:

• Melden Sie Fehler und „Daumen hoch“ für Themen, die für Sie relevant sind.
• Untersuchen Sie Probleme und überprüfen Sie die Pull-Anfragen anderer Entwickler.
• Tragen Sie Code oder Dokumentation zum Projekt bei, indem Sie eine GitHub-Pull-Anfrage senden.
• Weitere Informationen finden Sie im Contributing Guide und im Development Guide.
• Teilen Sie Ihr Feedback und diskutieren Sie Roadmap-Pläne hier im Kanal #bentoml-contributors .

Vielen Dank an alle unsere großartigen Mitwirkenden!

Nutzungsverfolgung und Feedback

Das BentoML-Framework sammelt anonyme Nutzungsdaten, die unserer Community helfen, das Produkt zu verbessern. Es werden nur die internen API-Aufrufe von BentoML gemeldet. Davon ausgenommen sind vertrauliche Informationen wie Benutzercode, Modelldaten, Modellnamen oder Stack-Traces. Hier ist der Code, der für die Nutzungsverfolgung verwendet wird. Sie können die Nutzungsverfolgung mit der CLI-Option --do-not-track deaktivieren:

bentoml [command] --do-not-track

Oder indem Sie die Umgebungsvariable festlegen:

 export BENTOML_DO_NOT_TRACK=True

Lizenz

Apache-Lizenz 2.0