BentoML 下載 - BentoML 原始碼下載

BentoML

其他源碼

v1.3.14

下載

統一模型服務框架

？使用任何開源或自訂 AI 模型建立模型推理 API 和多模型服務系統。加入我們的 Slack 社群！

什麼是 BentoML？

BentoML 是一個 Python 函式庫，用於建立針對 AI 應用程式和模型推理進行最佳化的線上服務系統。

？輕鬆建立適用於任何 AI/ML 模型的 API。只需幾行程式碼和標準 Python 類型提示即可將任何模型推理腳本轉換為 REST API 伺服器。
？ Docker 容器讓一切變得簡單。不再有依賴地獄！使用簡單的設定檔管理您的環境、依賴項和模型版本。 BentoML 會自動產生 Docker 映像，確保可重複性，並簡化您部署到不同環境的方式。
？最大化 CPU/GPU 使用率。利用內建服務最佳化功能（例如動態批次、模型並行性、多階段管道和多模型推理圖編排）來建立高效能推理 API。
？透過自訂業務邏輯、模型推理和多模型組合，輕鬆實現您自己的 API 或任務佇列。支援任何 ML 框架、模式和推理運行時。
準備生產。在本地開發、運行和調試。使用 Docker 容器或 BentoCloud 無縫部署到生產環境。

入門

安裝 BentoML：

 # Requires Python≥3.9
pip install -U bentoml

在service.py檔案中定義 API。

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

在本機上執行服務代碼（預設在 http://localhost:3000 提供服務）：

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

現在，您可以透過瀏覽器在 http://localhost:3000 或使用 Python 腳本執行推理：

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

部署您的第一個 Bento

要部署 BentoML 服務程式碼，首先建立一個bentofile.yaml檔案來定義其依賴項和環境。在此處查找 Bentofile 選項的完整清單。

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

然後，選擇以下方式之一進行部署：

？ Docker容器

運行bentoml build將必要的程式碼、模型、相依性配置打包到 Bento 中 - BentoML 中的標準化可部署工件：

bentoml build

確保 Docker 正在運行。產生用於部署的 Docker 容器映像：

bentoml containerize summarization:latest

運行生成的圖像：

docker run --rm -p 3000:3000 summarization:latest

☁️ 便當雲

BentoCloud 為快速、可靠的 GenAI 採用提供運算基礎架構。它有助於利用雲端運算資源加快 BentoML 開發流程，並簡化您在生產中部署、擴展和操作 BentoML 的方式。

註冊 BentoCloud 進行個人存取；對於企業用例，請聯絡我們的團隊。

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy .

Bentocloud-ui

有關詳細說明，請閱讀 Hello World 範例。

範例

法學碩士：Llama 3.2、Mixtral、Solar 和 Mistral。
影像生成：Stable Diffusion 3 Medium、Stable Video Diffusion、Stable Diffusion XL Turbo、ControlNet 和 LCM LoRA。
嵌入：SentenceTransformers 和 ColPali
音訊：ChatTTS、XTTS、WhisperX、Bark
電腦視覺：YOLO 和 ResNet
進階範例：函數呼叫、LangGraph、CrewAI

查看完整清單以取得更多範例程式碼和用法。