BentoML 下载 - BentoML 源代码下载

BentoML

其他源码

v1.3.14

下载

统一模型服务框架

？使用任何开源或自定义 AI 模型构建模型推理 API 和多模型服务系统。加入我们的 Slack 社区！

什么是 BentoML？

BentoML 是一个 Python 库，用于构建针对 AI 应用程序和模型推理进行优化的在线服务系统。

？轻松构建适用于任何 AI/ML 模型的 API。只需几行代码和标准 Python 类型提示即可将任何模型推理脚本转换为 REST API 服务器。
？ Docker 容器让一切变得简单。不再有依赖地狱！使用简单的配置文件管理您的环境、依赖项和模型版本。 BentoML 自动生成 Docker 镜像，确保可重复性，并简化您部署到不同环境的方式。
？最大化 CPU/GPU 利用率。利用内置服务优化功能（例如动态批处理、模型并行性、多阶段管道和多模型推理图编排）构建高性能推理 API。
？完全可定制。通过自定义业务逻辑、模型推理和多模型组合，轻松实现您自己的 API 或任务队列。支持任何 ML 框架、模式和推理运行时。
准备生产。在本地开发、运行和调试。使用 Docker 容器或 BentoCloud 无缝部署到生产环境。

入门

安装 BentoML：

 # Requires Python≥3.9
pip install -U bentoml

在service.py文件中定义 API。

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

在本地运行服务代码（默认在 http://localhost:3000 提供服务）：

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

现在，您可以通过浏览器在 http://localhost:3000 或使用 Python 脚本运行推理：

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

部署您的第一个 Bento

要部署 BentoML 服务代码，首先创建一个bentofile.yaml文件来定义其依赖项和环境。在此处查找 Bentofile 选项的完整列表。

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

然后，选择以下方式之一进行部署：

？ Docker容器

运行bentoml build将必要的代码、模型、依赖项配置打包到 Bento 中 - BentoML 中的标准化可部署工件：

bentoml build

确保 Docker 正在运行。生成用于部署的 Docker 容器映像：

bentoml containerize summarization:latest

运行生成的图像：

docker run --rm -p 3000:3000 summarization:latest

☁️ 便当云

BentoCloud 为快速、可靠的 GenAI 采用提供计算基础设施。它有助于利用云计算资源加快 BentoML 开发流程，并简化您在生产中部署、扩展和操作 BentoML 的方式。

注册 BentoCloud 进行个人访问；对于企业用例，请联系我们的团队。

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy .

Bentocloud-ui

有关详细说明，请阅读 Hello World 示例。

示例

法学硕士：Llama 3.2、Mixtral、Solar 和 Mistral。
图像生成：Stable Diffusion 3 Medium、Stable Video Diffusion、Stable Diffusion XL Turbo、ControlNet 和 LCM LoRA。
嵌入：SentenceTransformers 和 ColPali
音频：ChatTTS、XTTS、WhisperX、Bark
计算机视觉：YOLO 和 ResNet
高级示例：函数调用、LangGraph、CrewAI

查看完整列表以获取更多示例代码和用法。