BentoML

Estrutura de serviço de modelo unificado

? Crie APIs de inferência de modelo e sistemas de atendimento multimodelo com qualquer modelo de IA personalizado ou de código aberto. Junte-se à nossa comunidade no Slack!

O que é BentoML?

BentoML é uma biblioteca Python para construção de sistemas de atendimento online otimizados para aplicativos de IA e inferência de modelos.

• ? Crie APIs facilmente para qualquer modelo de IA/ML. Transforme qualquer script de inferência de modelo em um servidor REST API com apenas algumas linhas de código e dicas de tipo Python padrão.
• ? Contêineres Docker simplificados. Chega de inferno de dependência! Gerencie seus ambientes, dependências e versões de modelo com um arquivo de configuração simples. BentoML gera automaticamente imagens Docker, garante reprodutibilidade e simplifica a implantação em diferentes ambientes.
• ? Maximize a utilização de CPU/GPU. Crie APIs de inferência de alto desempenho aproveitando recursos integrados de otimização de serviço, como lote dinâmico, paralelismo de modelo, pipeline de vários estágios e orquestração de gráfico de inferência de vários modelos.
• ?‍ Totalmente personalizável. Implemente facilmente suas próprias APIs ou filas de tarefas, com lógica de negócios personalizada, inferência de modelo e composição de vários modelos. Suporta qualquer estrutura, modalidade e tempo de execução de inferência de ML.
• Pronto para produção. Desenvolva, execute e depure localmente. Implante perfeitamente na produção com contêineres Docker ou BentoCloud.

Começando

Instale o BentoML:

 # Requires Python≥3.9
pip install -U bentoml

Defina APIs em um arquivo service.py .

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

Execute o código de serviço localmente (servindo em http://localhost:3000 por padrão):

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

Agora você pode executar inferência no seu navegador em http://localhost:3000 ou com um script Python:

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

Implantando seu primeiro Bento

Para implantar seu código do serviço BentoML, primeiro crie um arquivo bentofile.yaml para definir suas dependências e ambientes. Encontre a lista completa de opções de bentofile aqui.

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

Em seguida, escolha uma das seguintes formas de implantação:

? Contêiner Docker

Execute bentoml build para empacotar o código, os modelos e as configurações de dependência necessários em um Bento - o artefato implantável padronizado no BentoML:

bentoml build

Certifique-se de que o Docker esteja em execução. Gere uma imagem de contêiner Docker para implantação:

bentoml containerize summarization:latest

Execute a imagem gerada:

docker run --rm -p 3000:3000 summarization:latest

☁️ BentoCloud

BentoCloud fornece infraestrutura de computação para adoção rápida e confiável de GenAI. Ele ajuda a acelerar o processo de desenvolvimento do BentoML, aproveitando os recursos de computação em nuvem, e simplifica a forma como você implanta, dimensiona e opera o BentoML na produção.

Cadastre-se no BentoCloud para acesso pessoal; para casos de uso corporativo, entre em contato com nossa equipe.

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy . 

Para explicações detalhadas, leia o exemplo Hello World.

Exemplos

• LLMs: Lhama 3.2, Mixtral, Solar e Mistral.
• Geração de imagem: Stable Diffusion 3 Medium, Stable Video Diffusion, Stable Diffusion XL Turbo, ControlNet e LCM LoRAs.
• Incorporações: SentenceTransformers e ColPali
• Áudio: ChatTTS, XTTS, WhisperX, Bark
• Visão computacional: YOLO e ResNet
• Exemplos avançados: chamada de função, LangGraph, CrewAI

Confira a lista completa para mais exemplos de código e uso.

Tópicos avançados

• Composição do modelo
• Trabalhadores e paralelização de modelos
• Lote adaptativo
• Inferência de GPU
• Sistemas de serviço distribuído
• Simultaneidade e escalonamento automático
• Carregamento de modelo e armazenamento de modelo
• Observabilidade
• Implantação BentoCloud

Consulte a documentação para obter mais tutoriais e guias.

Comunidade

Participe e junte-se ao nosso Community Slack, onde milhares de engenheiros de IA/ML ajudam uns aos outros, contribuem com o projeto e falam sobre a construção de produtos de IA.

Para relatar um bug ou sugerir uma solicitação de recurso, use GitHub Issues.

Contribuindo

Existem muitas maneiras de contribuir com o projeto:

• Relate bugs e "polegares para cima" em questões que sejam relevantes para você.
• Investigue problemas e revise solicitações pull de outros desenvolvedores.
• Contribua com código ou documentação para o projeto enviando uma solicitação pull do GitHub.
• Confira o Guia de Contribuição e o Guia de Desenvolvimento para saber mais.
• Compartilhe seus comentários e discuta planos de roteiro no canal #bentoml-contributors aqui.

Obrigado a todos os nossos incríveis colaboradores!

Acompanhamento de uso e feedback

A estrutura BentoML coleta dados de uso anônimos que ajudam nossa comunidade a melhorar o produto. Apenas as chamadas internas da API do BentoML estão sendo reportadas. Isso exclui qualquer informação confidencial, como código de usuário, dados de modelo, nomes de modelo ou rastreamentos de pilha. Aqui está o código usado para rastreamento de uso. Você pode cancelar o rastreamento de uso pela opção CLI --do-not-track :

bentoml [command] --do-not-track

Ou definindo a variável de ambiente:

 export BENTOML_DO_NOT_TRACK=True

Licença

Licença Apache 2.0