BentoML

Marco de servicio de modelo unificado

? Cree API de inferencia de modelos y sistemas de servicio multimodelo con cualquier modelo de IA personalizado o de código abierto. ¡Únete a nuestra comunidad Slack!

¿Qué es BentoML?

BentoML es una biblioteca de Python para crear sistemas de servicio en línea optimizados para aplicaciones de IA e inferencia de modelos.

• ? Cree fácilmente API para cualquier modelo de IA/ML. Convierta cualquier secuencia de comandos de inferencia de modelos en un servidor API REST con solo unas pocas líneas de código y sugerencias de tipo Python estándar.
• ? Contenedores Docker simplificados. ¡No más infierno de dependencia! Administre sus entornos, dependencias y versiones de modelos con un simple archivo de configuración. BentoML genera automáticamente imágenes de Docker, garantiza la reproducibilidad y simplifica la forma de implementar en diferentes entornos.
• ? Maximice la utilización de CPU/GPU. Cree API de inferencia de alto rendimiento aprovechando las funciones de optimización de servicio integradas, como procesamiento por lotes dinámico, paralelismo de modelos, canalización de múltiples etapas y orquestación de gráficos de inferencia de múltiples modelos.
• ?‍ Totalmente personalizable. Implemente fácilmente sus propias API o colas de tareas, con lógica empresarial personalizada, inferencia de modelos y composición multimodelo. Admite cualquier marco, modalidad y tiempo de ejecución de inferencia de ML.
• Listo para la producción. Desarrollar, ejecutar y depurar localmente. Implemente sin problemas en producción con contenedores Docker o BentoCloud.

Empezando

Instalar BentoML:

 # Requires Python≥3.9
pip install -U bentoml

Defina las API en un archivo service.py .

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

Ejecute el código de servicio localmente (serviendo en http://localhost:3000 de forma predeterminada):

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

Ahora puedes ejecutar la inferencia desde tu navegador en http://localhost:3000 o con un script de Python:

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

Implementando su primer Bento

Para implementar su código de servicio BentoML, primero cree un archivo bentofile.yaml para definir sus dependencias y entornos. Encuentre la lista completa de opciones de bentofile aquí.

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

Luego, elija una de las siguientes formas de implementación:

? Contenedor acoplable

Ejecute bentoml build para empaquetar el código, los modelos y las configuraciones de dependencia necesarios en un Bento, el artefacto implementable estandarizado en BentoML:

bentoml build

Asegúrese de que Docker se esté ejecutando. Genere una imagen de contenedor Docker para su implementación:

bentoml containerize summarization:latest

Ejecute la imagen generada:

docker run --rm -p 3000:3000 summarization:latest

☁️ BentoCloud

BentoCloud proporciona infraestructura informática para una adopción GenAI rápida y confiable. Ayuda a acelerar su proceso de desarrollo de BentoML aprovechando los recursos informáticos de la nube y simplificando la forma de implementar, escalar y operar BentoML en producción.

Regístrese en BentoCloud para obtener acceso personal; para casos de uso empresarial, comuníquese con nuestro equipo.

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy . 

Para obtener explicaciones detalladas, lea el ejemplo de Hello World.

Ejemplos

• LLM: Llama 3.2, Mixtral, Solar y Mistral.
• Generación de imágenes: Difusión estable 3 media, Difusión de vídeo estable, Difusión estable XL Turbo, ControlNet y LCM LoRA.
• Incrustaciones: SentenceTransformers y ColPali
• Audio: ChatTTS, XTTS, WhisperX, corteza
• Visión por computadora: YOLO y ResNet
• Ejemplos avanzados: llamadas a funciones, LangGraph, CrewAI

Consulte la lista completa para obtener más códigos de muestra y uso.

Temas avanzados

• Composición del modelo
• Trabajadores y paralelización de modelos.
• Lotes adaptativos
• inferencia de GPU
• Sistemas de servicio distribuido
• Simultaneidad y escalado automático
• Carga de modelos y tienda de modelos
• Observabilidad
• Implementación de BentoCloud

Consulte Documentación para obtener más tutoriales y guías.

Comunidad

Participe y únase a nuestra comunidad Slack, donde miles de ingenieros de IA/ML se ayudan entre sí, contribuyen al proyecto y hablan sobre la creación de productos de IA.

Para informar un error o sugerir una solicitud de función, utilice Problemas de GitHub.

Contribuyendo

Hay muchas maneras de contribuir al proyecto:

• Informe errores y dé el visto bueno a los problemas que sean relevantes para usted.
• Investigue problemas y revise las solicitudes de extracción de otros desarrolladores.
• Contribuya con código o documentación al proyecto enviando una solicitud de extracción de GitHub.
• Consulte la Guía de contribución y la Guía de desarrollo para obtener más información.
• Comparta sus comentarios y analice los planes de hoja de ruta en el canal #bentoml-contributors aquí.

¡Gracias a todos nuestros increíbles contribuyentes!

Seguimiento de uso y comentarios

El marco BentoML recopila datos de uso anónimos que ayudan a nuestra comunidad a mejorar el producto. Sólo se informan las llamadas API internas de BentoML. Esto excluye cualquier información confidencial, como código de usuario, datos de modelo, nombres de modelo o seguimientos de pila. Aquí está el código utilizado para el seguimiento del uso. Puede optar por no participar en el seguimiento de uso mediante la opción CLI --do-not-track :

bentoml [command] --do-not-track

O configurando la variable de entorno:

 export BENTOML_DO_NOT_TRACK=True

Licencia

Licencia Apache 2.0