BentoChain

?? BentoChain — развертывание LangChain на BentoML

Ссылка: Средний пост

---

BentoChain - это ?️? Пример развертывания LangChain с использованием? BentoML вдохновлен шаблоном langchain-gradio. В этом примере показано, как создать голосового чат-бота с использованием API OpenAI, речевых моделей Transformers, Gradio и BentoML. Чат-бот принимает входные данные с микрофона, которые затем преобразуются в текст с помощью модели распознавания речи.

Чат-бот отвечает на ввод пользователя текстом, который может быть воспроизведен пользователю с использованием модели преобразования текста в речь.

Демо

демо.mp4

Зачем развертывать приложения LangChain с помощью BentoML?

? Контейнеризирует приложения LangChain как стандартные образы OCI.

? Автоматически генерирует конечные точки OpenAPI и gRPC.

☁️ Развертывает модели как микросервисы, работающие на самом оптимальном оборудовании и самостоятельно масштабируемые.

Инструкции

Установите зависимости Python.

poetry install
poetry shell

Загрузите и сохраните модели распознавания речи и преобразования текста в речь.

python train.py

Запустите приложение локально.

bentoml serve

Посетите http://0.0.0.0:3000, чтобы просмотреть страницу OpenAPI Swagger, и http://0.0.0.0:3000/chatbot, чтобы просмотреть пользовательский интерфейс Gradio для чат-бота. Обратите внимание, что функция ввода микрофона может не работать в таких браузерах, как Google Chrome, поскольку конечная точка не HTTPS. Однако вход для микрофона станет работоспособным после развертывания в BentoCloud.

Превратите приложение в распространяемый артефакт Bento.

bentoml build

Building BentoML service " voicegpt:vmjw2vucbodwkcvj " from build context " /Users/ssheng/github/BentoChain " .
Packing model " speecht5_tts_processor:7pjfnkucbgjzycvj "
Packing model " speecht5_tts_vocoder:7suthpucbgjzycvj "
Packing model " whisper_processor:7s6wbnecbgjzycvj "
Packing model " whisper_model:7td75iucbgjzycvj "
Packing model " speecht5_tts_model:7pkfc3ecbgjzycvj "

██████╗░███████╗███╗░░██╗████████╗░█████╗░███╗░░░███╗██╗░░░░░
██╔══██╗██╔════╝████╗░██║╚══██╔══╝██╔══██╗████╗░████║██║░░░░░
██████╦╝█████╗░░██╔██╗██║░░░██║░░░██║░░██║██╔████╔██║██║░░░░░
██╔══██╗██╔══╝░░██║╚████║░░░██║░░░██║░░██║██║╚██╔╝██║██║░░░░░
██████╦╝███████╗██║░╚███║░░░██║░░░╚█████╔╝██║░╚═╝░██║███████╗
╚═════╝░╚══════╝╚═╝░░╚══╝░░░╚═╝░░░░╚════╝░╚═╝░░░░░╚═╝╚══════╝

Successfully built Bento(tag= " voicegpt:vmjw2vucbodwkcvj " ).

Possible next steps:

 * Containerize your Bento with ` bentoml containerize ` :
    $ bentoml containerize voicegpt:vmjw2vucbodwkcvj

 * Push to BentoCloud with ` bentoml push ` :
    $ bentoml push voicegpt:vmjw2vucbodwkcvj

Развертывание производства

BentoML предоставляет несколько вариантов развертывания. Самый простой способ настроить готовую к работе конечную точку вашей службы встраивания текста — через BentoCloud, бессерверную облачную платформу, созданную для BentoML командой BentoML.

Следующие шаги:

1. Зарегистрируйте учетную запись BentoCloud здесь.

2. Получите токен API, см. инструкции здесь.

3. Перенесите свой Bento в BentoCloud:

   bentoml push voicegpt:vmjw2vucbodwkcvj

4. Развертывание через веб-интерфейс, см. «Развертывание в BentoCloud».

И нажмите на BentoCloud.