BentoChain

?? BentoChain - BentoML에 LangChain 배포

참고: 중간 게시물

---

BentoChain은 ?️? ?를 사용한 LangChain 배포 예 langchain-gradio-template에서 영감을 받은 BentoML입니다. 이 예에서는 OpenAI API, Transformers 음성 모델, Gradio 및 BentoML을 사용하여 음성 챗봇을 만드는 방법을 보여줍니다. 챗봇은 마이크에서 입력을 받은 다음 음성 인식 모델을 사용하여 텍스트로 변환합니다.

챗봇은 텍스트로 사용자의 입력에 응답하며, 텍스트 음성 변환 모델을 사용하여 사용자에게 재생할 수 있습니다.

데모

데모.mp4

BentoML을 사용하여 LangChain 애플리케이션을 배포하는 이유는 무엇입니까?

? LangChain 애플리케이션을 표준 OCI 이미지로 컨테이너화합니다.

? OpenAPI 및 gRPC 엔드포인트를 자동으로 생성합니다.

☁️ 가장 최적의 하드웨어에서 실행되고 독립적으로 확장되는 마이크로서비스로 모델을 배포합니다.

지침

Python 종속성을 설치합니다.

poetry install
poetry shell

음성 인식 및 텍스트 음성 변환 모델을 다운로드하고 저장하세요.

python train.py

로컬에서 애플리케이션을 시작합니다.

bentoml serve

OpenAPI Swagger 페이지는 http://0.0.0.0:3000을 방문하고 챗봇용 Gradio UI는 http://0.0.0.0:3000/chatbot을 방문하세요. 엔드포인트가 HTTPS가 아니기 때문에 Google Chrome과 같은 브라우저에서는 마이크 입력 기능이 작동하지 않을 수 있습니다. 하지만 BentoCloud에 배포한 후에는 마이크 입력이 작동하게 됩니다.

배포 가능한 Bento 아티팩트에 애플리케이션을 구축합니다.

bentoml build

Building BentoML service " voicegpt:vmjw2vucbodwkcvj " from build context " /Users/ssheng/github/BentoChain " .
Packing model " speecht5_tts_processor:7pjfnkucbgjzycvj "
Packing model " speecht5_tts_vocoder:7suthpucbgjzycvj "
Packing model " whisper_processor:7s6wbnecbgjzycvj "
Packing model " whisper_model:7td75iucbgjzycvj "
Packing model " speecht5_tts_model:7pkfc3ecbgjzycvj "

██████╗░███████╗███╗░░██╗████████╗░█████╗░███╗░░░███╗██╗░░░░░
██╔══██╗██╔════╝████╗░██║╚══██╔══╝██╔══██╗████╗░████║██║░░░░░
██████╦╝█████╗░░██╔██╗██║░░░██║░░░██║░░██║██╔████╔██║██║░░░░░
██╔══██╗██╔══╝░░██║╚████║░░░██║░░░██║░░██║██║╚██╔╝██║██║░░░░░
██████╦╝███████╗██║░╚███║░░░██║░░░╚█████╔╝██║░╚═╝░██║███████╗
╚═════╝░╚══════╝╚═╝░░╚══╝░░░╚═╝░░░░╚════╝░╚═╝░░░░░╚═╝╚══════╝

Successfully built Bento(tag= " voicegpt:vmjw2vucbodwkcvj " ).

Possible next steps:

 * Containerize your Bento with ` bentoml containerize ` :
    $ bentoml containerize voicegpt:vmjw2vucbodwkcvj

 * Push to BentoCloud with ` bentoml push ` :
    $ bentoml push voicegpt:vmjw2vucbodwkcvj

프로덕션 배포

BentoML은 다양한 배포 옵션을 제공합니다. 텍스트 임베딩 서비스의 프로덕션 지원 엔드포인트를 설정하는 가장 쉬운 방법은 BentoML 팀이 BentoML용으로 구축한 서버리스 클라우드 플랫폼인 BentoCloud를 이용하는 것입니다.

다음 단계:

1. 여기에서 BentoCloud 계정에 가입하세요.

2. API 토큰을 받으려면 여기에서 지침을 참조하세요.

3. Bento를 BentoCloud로 푸시하세요.

   bentoml push voicegpt:vmjw2vucbodwkcvj

4. 웹 UI를 통해 배포합니다. BentoCloud에 배포를 참조하세요.

그리고 BentoCloud로 푸시하세요.