BentoChain

?? BentoChain - BentoML への LangChain のデプロイメント

参考：ミディアムポスト

---

BentoChainは?️? ? を使用した LangChain デプロイメント例BentoML は langchain-gradio-template からインスピレーションを受けています。この例では、OpenAI API、Transformers 音声モデル、Gradio、および BentoML を使用して音声チャットボットを作成する方法を示します。チャットボットはマイクから入力を受け取り、音声認識モデルを使用してテキストに変換します。

チャットボットはユーザーの入力にテキストで応答し、テキスト読み上げモデルを使用してユーザーにテキストを再生できます。

デモ

デモ.mp4

BentoML を使用して LangChain アプリケーションをデプロイする理由は何ですか?

? LangChain アプリケーションを標準の OCI イメージとしてコンテナ化します。

? OpenAPI および gRPC エンドポイントを自動的に生成します。

☁️ モデルをマイクロサービスとしてデプロイし、最適なハードウェア上で実行され、独立してスケーリングします。

説明書

Python の依存関係をインストールします。

poetry install
poetry shell

音声認識および音声合成モデルをダウンロードして保存します。

python train.py

アプリケーションをローカルで起動します。

bentoml serve

OpenAPI Swagger ページについては http://0.0.0.0:3000 にアクセスし、チャットボットの Gradio UI については http://0.0.0.0:3000/chatbot にアクセスしてください。エンドポイントが HTTPS ではないため、Google Chrome などのブラウザではマイク入力機能が機能しない可能性があることに注意してください。ただし、マイク入力は BentoCloud に展開した後に機能するようになります。

アプリケーションを配布可能な Bento アーティファクトにビルドします。

bentoml build

Building BentoML service " voicegpt:vmjw2vucbodwkcvj " from build context " /Users/ssheng/github/BentoChain " .
Packing model " speecht5_tts_processor:7pjfnkucbgjzycvj "
Packing model " speecht5_tts_vocoder:7suthpucbgjzycvj "
Packing model " whisper_processor:7s6wbnecbgjzycvj "
Packing model " whisper_model:7td75iucbgjzycvj "
Packing model " speecht5_tts_model:7pkfc3ecbgjzycvj "

██████╗░███████╗███╗░░██╗████████╗░█████╗░███╗░░░███╗██╗░░░░░
██╔══██╗██╔════╝████╗░██║╚══██╔══╝██╔══██╗████╗░████║██║░░░░░
██████╦╝█████╗░░██╔██╗██║░░░██║░░░██║░░██║██╔████╔██║██║░░░░░
██╔══██╗██╔══╝░░██║╚████║░░░██║░░░██║░░██║██║╚██╔╝██║██║░░░░░
██████╦╝███████╗██║░╚███║░░░██║░░░╚█████╔╝██║░╚═╝░██║███████╗
╚═════╝░╚══════╝╚═╝░░╚══╝░░░╚═╝░░░░╚════╝░╚═╝░░░░░╚═╝╚══════╝

Successfully built Bento(tag= " voicegpt:vmjw2vucbodwkcvj " ).

Possible next steps:

 * Containerize your Bento with ` bentoml containerize ` :
    $ bentoml containerize voicegpt:vmjw2vucbodwkcvj

 * Push to BentoCloud with ` bentoml push ` :
    $ bentoml push voicegpt:vmjw2vucbodwkcvj

本番展開

BentoML には、多数の導入オプションが用意されています。テキスト埋め込みサービスの実稼働対応エンドポイントをセットアップする最も簡単な方法は、BentoML チームによって BentoML 用に構築されたサーバーレス クラウド プラットフォームである BentoCloud を使用することです。

次のステップ:

1. ここから BentoCloud アカウントにサインアップしてください。

2. API トークンを取得します。手順については、こちらを参照してください。

3. Bento を BentoCloud にプッシュします。

   bentoml push voicegpt:vmjw2vucbodwkcvj

4. Web UI 経由でデプロイします。「BentoCloud へのデプロイ」を参照してください。

そしてBentoCloudにプッシュします。