BentoML

Cadre de service de modèle unifié

? Créez des API d'inférence de modèle et des systèmes de service multimodèles avec n'importe quel modèle d'IA open source ou personnalisé. Rejoignez notre communauté Slack !

Qu’est-ce que BentoML ?

BentoML est une bibliothèque Python permettant de créer des systèmes de service en ligne optimisés pour les applications d'IA et l'inférence de modèles.

• ? Créez facilement des API pour n'importe quel modèle AI/ML. Transformez n'importe quel script d'inférence de modèle en un serveur API REST avec seulement quelques lignes de code et des astuces de type Python standard.
• ? Les conteneurs Docker simplifiés. Fini l’enfer de la dépendance ! Gérez vos environnements, dépendances et versions de modèles avec un simple fichier de configuration. BentoML génère automatiquement des images Docker, garantit la reproductibilité et simplifie la façon dont vous déployez dans différents environnements.
• ? Maximisez l’utilisation du CPU/GPU. Créez des API d'inférence hautes performances en tirant parti des fonctionnalités d'optimisation de service intégrées telles que le traitement par lots dynamique, le parallélisme de modèles, le pipeline à plusieurs étapes et l'orchestration de graphiques d'inférence multimodèles.
• ?‍ Entièrement personnalisable. Implémentez facilement vos propres API ou files d'attente de tâches, avec une logique métier personnalisée, une inférence de modèle et une composition multimodèle. Prend en charge n’importe quel framework, modalité et environnement d’exécution d’inférence ML.
• Prêt pour la production. Développer, exécuter et déboguer localement. Déployez en toute transparence en production avec des conteneurs Docker ou BentoCloud.

Commencer

Installez BentoML :

 # Requires Python≥3.9
pip install -U bentoml

Définissez les API dans un fichier service.py .

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

Exécutez le code du service localement (servant par défaut sur http://localhost:3000) :

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

Vous pouvez désormais exécuter l'inférence depuis votre navigateur sur http://localhost:3000 ou avec un script Python :

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

Déployer votre premier Bento

Pour déployer votre code de service BentoML, créez d'abord un fichier bentofile.yaml pour définir ses dépendances et ses environnements. Retrouvez la liste complète des options de bentofile ici.

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

Ensuite, choisissez l’une des méthodes de déploiement suivantes :

? Conteneur Docker

Exécutez bentoml build pour regrouper le code, les modèles et les configurations de dépendances nécessaires dans un Bento - l'artefact déployable standardisé dans BentoML :

bentoml build

Assurez-vous que Docker est en cours d'exécution. Générez une image de conteneur Docker pour le déploiement :

bentoml containerize summarization:latest

Exécutez l'image générée :

docker run --rm -p 3000:3000 summarization:latest

☁️ BentoCloud

BentoCloud fournit une infrastructure de calcul pour une adoption rapide et fiable de GenAI. Il permet d'accélérer votre processus de développement BentoML en exploitant les ressources de calcul du cloud et de simplifier la façon dont vous déployez, faites évoluer et exploitez BentoML en production.

Inscrivez-vous à BentoCloud pour un accès personnel ; pour les cas d’utilisation en entreprise, contactez notre équipe.

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy . 

Pour des explications détaillées, lisez l’exemple Hello World.

Exemples

• LLM : Llama 3.2, Mixtral, Solar et Mistral.
• Génération d'images : Stable Diffusion 3 Medium, Stable Video Diffusion, Stable Diffusion XL Turbo, ControlNet et LCM LoRA.
• Intégrations : SentenceTransformers et ColPali
• Audio : ChatTTS, XTTS, WhisperX, Bark
• Vision par ordinateur : YOLO et ResNet
• Exemples avancés : appel de fonction, LangGraph, CrewAI

Consultez la liste complète pour plus d’exemples de code et d’utilisation.

Sujets avancés

• Composition du modèle
• Travailleurs et parallélisation de modèles
• Traitement par lots adaptatif
• Inférence GPU
• Systèmes de services distribués
• Concurrence et mise à l'échelle automatique
• Chargement de modèles et Model Store
• Observabilité
• Déploiement BentoCloud

Voir Documentation pour plus de didacticiels et de guides.

Communauté

Impliquez-vous et rejoignez notre communauté Slack, où des milliers d'ingénieurs IA/ML s'entraident, contribuent au projet et parlent de la création de produits IA.

Pour signaler un bug ou suggérer une demande de fonctionnalité, utilisez GitHub Issues.

Contribuer

Il existe de nombreuses façons de contribuer au projet :

• Signalez les bugs et « Bravo » sur les problèmes qui vous concernent.
• Enquêtez sur les problèmes et examinez les demandes de tirage des autres développeurs.
• Contribuez au code ou à la documentation du projet en soumettant une pull request GitHub.
• Consultez le Guide de contribution et le Guide de développement pour en savoir plus.
• Partagez vos commentaires et discutez des plans de la feuille de route sur le canal #bentoml-contributors ici.

Merci à tous nos incroyables contributeurs !

Suivi d'utilisation et commentaires

Le framework BentoML collecte des données d'utilisation anonymes qui aident notre communauté à améliorer le produit. Seuls les appels API internes de BentoML sont signalés. Cela exclut toutes les informations sensibles, telles que le code utilisateur, les données de modèle, les noms de modèles ou les traces de pile. Voici le code utilisé pour le suivi de l'utilisation. Vous pouvez désactiver le suivi de l'utilisation grâce à l'option CLI --do-not-track :

bentoml [command] --do-not-track

Ou en définissant la variable d'environnement :

 export BENTOML_DO_NOT_TRACK=True

Licence

Licence Apache 2.0