BentoML ダウンロード - BentoML ソースコードのダウンロード

BentoML

その他のソースコード

v1.3.14

ダウンロード

統合モデル提供フレームワーク

?オープンソースまたはカスタム AI モデルを使用して、モデル推論 API とマルチモデルサービングシステムを構築します。 Slack コミュニティに参加してください!

BentoML とは何ですか?

BentoML は、AI アプリとモデル推論用に最適化されたオンラインサービスシステムを構築するための Python ライブラリです。

?あらゆる AI/ML モデルの API を簡単に構築します。わずか数行のコードと標準的な Python 型ヒントを使用して、モデル推論スクリプトを REST API サーバーに変換します。
? Docker コンテナがシンプルになりました。もう依存地獄はありません！シンプルな構成ファイルを使用して、環境、依存関係、モデルのバージョンを管理します。 BentoML は Docker イメージを自動的に生成し、再現性を確保し、さまざまな環境へのデプロイ方法を簡素化します。
? CPU/GPUの使用率を最大化します。動的バッチ処理、モデル並列処理、マルチステージパイプライン、マルチモデル推論グラフオーケストレーションなどの組み込みのサービス最適化機能を活用して、高パフォーマンスの推論 API を構築します。
?‍ 完全にカスタマイズ可能。カスタムビジネスロジック、モデル推論、マルチモデル構成を使用して、独自の API またはタスクキューを簡単に実装できます。あらゆる ML フレームワーク、モダリティ、推論ランタイムをサポートします。
生産の準備ができました。ローカルで開発、実行、デバッグします。 DockerコンテナまたはBentoCloudを使用して本番環境にシームレスにデプロイします。

はじめる

BentoML をインストールします。

 # Requires Python≥3.9
pip install -U bentoml

service.pyファイルで API を定義します。

None: import torch from transformers import pipeline device = "cuda" if torch.cuda.is_available() else "cpu" self.pipeline = pipeline('summarization', device=device) @bentoml.api(batchable=True) def summarize(self, texts: list[str]) -> list[str]: results = self.pipeline(texts) return [item['summary_text'] for item in results]">

 from __future__ import annotations

import bentoml

@ bentoml . service (
    resources = { "cpu" : "4" }
)
class Summarization :
    def __init__ ( self ) -> None :
        import torch
        from transformers import pipeline

        device = "cuda" if torch . cuda . is_available () else "cpu"
        self . pipeline = pipeline ( 'summarization' , device = device )

    @ bentoml . api ( batchable = True )
    def summarize ( self , texts : list [ str ]) -> list [ str ]:
        results = self . pipeline ( texts )
        return [ item [ 'summary_text' ] for item in results ]

サービスコードをローカルで実行します (デフォルトでは http://localhost:3000 で提供されます)。

pip install torch transformers  # additional dependencies for local run

bentoml serve service.py:Summarization

これで、ブラウザー http://localhost:3000 から、または Python スクリプトを使用して推論を実行できるようになります。

 import bentoml

with bentoml . SyncHTTPClient ( 'http://localhost:3000' ) as client :
    summarized_text : str = client . summarize ([ bentoml . __doc__ ])[ 0 ]
    print ( f"Result: { summarized_text } " )

最初の Bento のデプロイ

BentoML サービスコードをデプロイするには、まずbentofile.yamlファイルを作成して、その依存関係と環境を定義します。 Bentfile オプションの完全なリストはここでご覧ください。

 service : ' service:Summarization ' # Entry service import path
include :
  - ' *.py ' # Include all .py files in current directory
python :
  packages : # Python dependencies to include
    - torch
    - transformers
docker :
  python_version : " 3.11 "

次に、次のいずれかの展開方法を選択します。

? Dockerコンテナ

bentoml buildを実行して、必要なコード、モデル、依存関係構成を Bento (BentoML で標準化されたデプロイ可能な成果物) にパッケージ化します。

bentoml build

Docker が実行されていることを確認します。デプロイメント用の Docker コンテナーイメージを生成します。

bentoml containerize summarization:latest

生成されたイメージを実行します。

docker run --rm -p 3000:3000 summarization:latest

☁️ ベントクラウド

BentoCloud は、迅速かつ信頼性の高い GenAI 導入のためのコンピューティングインフラストラクチャを提供します。クラウドコンピューティングリソースを活用して BentoML 開発プロセスをスピードアップし、本番環境での BentoML のデプロイ、拡張、運用方法を簡素化するのに役立ちます。

個人的にアクセスするには、BentoCloud にサインアップしてください。エンタープライズでの使用例については、当社のチームにお問い合わせください。

 # After signup, run the following command to create an API token:
bentoml cloud login

# Deploy from current directory:
bentoml deploy .

弁当クラウドUI

詳細な説明については、Hello World の例を参照してください。

例

LLM: Llama 3.2、Mixtral、Solar、および Mistral。
画像生成: Stable Diffusion 3 Medium、Stable Video Diffusion、Stable Diffusion XL Turbo、ControlNet、および LCM LoRA。
埋め込み: SentenceTransformers と ColPali
オーディオ: ChatTTS、XTTS、WhisperX、Bark
コンピュータービジョン: YOLO と ResNet
高度な例: 関数呼び出し、LangGraph、CrewAI

サンプルコードと使用方法の詳細については、完全なリストを確認してください。

高度なトピック

モデル構成
ワーカーとモデルの並列化
適応型バッチ処理
GPU推論
分散サービスシステム
同時実行性と自動スケーリング
モデルの読み込みとモデルストア
可観測性
BentoCloudの展開

その他のチュートリアルとガイドについては、「ドキュメント」を参照してください。

コミュニティ

コミュニティ Slack に参加してください。そこでは、何千人もの AI/ML エンジニアが互いに助け合い、プロジェクトに貢献し、AI 製品の構築について話し合います。

バグを報告したり、機能リクエストを提案したりするには、GitHub Issues を使用してください。

貢献する

プロジェクトに貢献するにはさまざまな方法があります。

バグを報告し、自分に関連する問題について「いいね」を押します。
問題を調査し、他の開発者のプルリクエストを確認します。
GitHub プルリクエストを送信して、コードまたはドキュメントをプロジェクトに提供します。
詳細については、「貢献ガイド」と「開発ガイド」を参照してください。
ここの#bentoml-contributorsチャンネルでフィードバックを共有し、ロードマップ計画について話し合ってください。

素晴らしい貢献者の皆様に感謝します!

使用状況の追跡とフィードバック

BentoML フレームワークは、コミュニティによる製品の改善に役立つ匿名の使用状況データを収集します。 BentoML の内部 API 呼び出しのみがレポートされます。これには、ユーザーコード、モデルデータ、モデル名、スタックトレースなどの機密情報は含まれません。使用状況の追跡に使用されるコードは次のとおりです。 --do-not-track CLI オプションを使用して使用状況追跡をオプトアウトできます。