BentoChain

?? BentoChain - Implantação LangChain no BentoML

Referência: postagem média

---

BentoChain é um ?️? Exemplo de implantação do LangChain usando ? BentoML inspirado no modelo langchain-gradio. Este exemplo demonstra como criar um chatbot de voz usando a API OpenAI, modelos de fala Transformers, Gradio e BentoML. O chatbot recebe informações de um microfone, que é então convertido em texto usando um modelo de reconhecimento de fala.

O chatbot responde à entrada do usuário com texto, que pode ser reproduzido para o usuário usando um modelo de conversão de texto em fala.

Demonstração

demonstração.mp4

Por que implantar aplicativos LangChain com BentoML?

? Conteineriza aplicativos LangChain como imagens OCI padrão.

? Gera endpoints OpenAPI e gRPC automaticamente.

☁️ Implanta modelos como microsserviços executados no hardware ideal e dimensionados de forma independente.

Instruções

Instale dependências do Python.

poetry install
poetry shell

Baixe e salve modelos de reconhecimento de fala e conversão de texto em fala.

python train.py

Inicie o aplicativo localmente.

bentoml serve

Visite http://0.0.0.0:3000 para uma página OpenAPI Swagger e http://0.0.0.0:3000/chatbot para uma UI Gradio para o chatbot. Observe que a funcionalidade de entrada do microfone pode não funcionar em navegadores como o Google Chrome porque o endpoint não é HTTPS. No entanto, a entrada do microfone ficará funcional após a implantação no BentoCloud.

Construa o aplicativo em um artefato Bento distribuível.

bentoml build

Building BentoML service " voicegpt:vmjw2vucbodwkcvj " from build context " /Users/ssheng/github/BentoChain " .
Packing model " speecht5_tts_processor:7pjfnkucbgjzycvj "
Packing model " speecht5_tts_vocoder:7suthpucbgjzycvj "
Packing model " whisper_processor:7s6wbnecbgjzycvj "
Packing model " whisper_model:7td75iucbgjzycvj "
Packing model " speecht5_tts_model:7pkfc3ecbgjzycvj "

██████╗░███████╗███╗░░██╗████████╗░█████╗░███╗░░░███╗██╗░░░░░
██╔══██╗██╔════╝████╗░██║╚══██╔══╝██╔══██╗████╗░████║██║░░░░░
██████╦╝█████╗░░██╔██╗██║░░░██║░░░██║░░██║██╔████╔██║██║░░░░░
██╔══██╗██╔══╝░░██║╚████║░░░██║░░░██║░░██║██║╚██╔╝██║██║░░░░░
██████╦╝███████╗██║░╚███║░░░██║░░░╚█████╔╝██║░╚═╝░██║███████╗
╚═════╝░╚══════╝╚═╝░░╚══╝░░░╚═╝░░░░╚════╝░╚═╝░░░░░╚═╝╚══════╝

Successfully built Bento(tag= " voicegpt:vmjw2vucbodwkcvj " ).

Possible next steps:

 * Containerize your Bento with ` bentoml containerize ` :
    $ bentoml containerize voicegpt:vmjw2vucbodwkcvj

 * Push to BentoCloud with ` bentoml push ` :
    $ bentoml push voicegpt:vmjw2vucbodwkcvj

Implantação de produção

BentoML oferece diversas opções de implantação. A maneira mais fácil de configurar um endpoint pronto para produção do seu serviço de incorporação de texto é por meio do BentoCloud, a plataforma em nuvem sem servidor desenvolvida para BentoML, pela equipe BentoML.

Próximas etapas:

1. Cadastre-se para uma conta BentoCloud aqui.

2. Obtenha um token de API, veja as instruções aqui.

3. Envie seu Bento para BentoCloud:

   bentoml push voicegpt:vmjw2vucbodwkcvj

4. Implante via Web UI, consulte Implantação no BentoCloud

E envie para BentoCloud.