BentoChain

- BentoChain - การปรับใช้ LangChain บน BentoML

อ้างอิง: โพสต์ขนาดกลาง

---

BentoChain คือ ??️? ตัวอย่างการใช้งาน LangChain โดยใช้ ? BentoML ได้รับแรงบันดาลใจจาก langchain-gradio-template ตัวอย่างนี้สาธิตวิธีสร้างแชทบอทเสียงโดยใช้ OpenAI API, โมเดลคำพูดของ Transformers, Gradio และ BentoML แชทบอตรับอินพุตจากไมโครโฟน ซึ่งจะถูกแปลงเป็นข้อความโดยใช้โมเดลการรู้จำเสียงพูด

แชทบอตตอบสนองต่อการป้อนข้อมูลของผู้ใช้ด้วยข้อความ ซึ่งสามารถเล่นให้กับผู้ใช้ได้โดยใช้โมเดลการอ่านออกเสียงข้อความ

สาธิต

สาธิต.mp4

เหตุใดจึงต้องปรับใช้แอปพลิเคชัน LangChain ด้วย BentoML

- บรรจุแอปพลิเคชัน LangChain เป็นอิมเมจ OCI มาตรฐาน

- สร้างตำแหน่งข้อมูล OpenAPI และ gRPC โดยอัตโนมัติ

☁️ ปรับใช้โมเดลเป็นไมโครเซอร์วิสที่ทำงานบนฮาร์ดแวร์ที่เหมาะสมที่สุดและการปรับขนาดอย่างอิสระ

คำแนะนำ

ติดตั้งการพึ่งพา Python

poetry install
poetry shell

ดาวน์โหลดและบันทึกการรู้จำเสียงและโมเดลการอ่านออกเสียงข้อความ

python train.py

เริ่มแอปพลิเคชันในเครื่อง

bentoml serve

ไปที่ http://0.0.0.0:3000 สำหรับหน้า OpenAPI Swagger และ http://0.0.0.0:3000/chatbot สำหรับ Gradio UI สำหรับ chatbot โปรดทราบว่าฟังก์ชันอินพุตไมโครโฟนอาจไม่ทำงานบนเบราว์เซอร์เช่น Google Chrome เนื่องจากปลายทางไม่ใช่ HTTPS อย่างไรก็ตาม อินพุตไมโครโฟนจะทำงานได้หลังจากปรับใช้กับ BentoCloud

สร้างแอปพลิเคชันให้เป็นสิ่งประดิษฐ์ Bento ที่สามารถแจกจ่ายได้

bentoml build

Building BentoML service " voicegpt:vmjw2vucbodwkcvj " from build context " /Users/ssheng/github/BentoChain " .
Packing model " speecht5_tts_processor:7pjfnkucbgjzycvj "
Packing model " speecht5_tts_vocoder:7suthpucbgjzycvj "
Packing model " whisper_processor:7s6wbnecbgjzycvj "
Packing model " whisper_model:7td75iucbgjzycvj "
Packing model " speecht5_tts_model:7pkfc3ecbgjzycvj "

██████╗░███████╗███╗░░██╗████████╗░█████╗░███╗░░░███╗██╗░░░░░
██╔══██╗██╔════╝████╗░██║╚══██╔══╝██╔══██╗████╗░████║██║░░░░░
██████╦╝█████╗░░██╔██╗██║░░░██║░░░██║░░██║██╔████╔██║██║░░░░░
██╔══██╗██╔══╝░░██║╚████║░░░██║░░░██║░░██║██║╚██╔╝██║██║░░░░░
██████╦╝███████╗██║░╚███║░░░██║░░░╚█████╔╝██║░╚═╝░██║███████╗
╚═════╝░╚══════╝╚═╝░░╚══╝░░░╚═╝░░░░╚════╝░╚═╝░░░░░╚═╝╚══════╝

Successfully built Bento(tag= " voicegpt:vmjw2vucbodwkcvj " ).

Possible next steps:

 * Containerize your Bento with ` bentoml containerize ` :
    $ bentoml containerize voicegpt:vmjw2vucbodwkcvj

 * Push to BentoCloud with ` bentoml push ` :
    $ bentoml push voicegpt:vmjw2vucbodwkcvj

การใช้งานการผลิต

BentoML มีตัวเลือกการใช้งานมากมาย วิธีที่ง่ายที่สุดในการตั้งค่าจุดสิ้นสุดที่พร้อมสำหรับการใช้งานจริงของบริการฝังข้อความของคุณคือผ่าน BentoCloud ซึ่งเป็นแพลตฟอร์มคลาวด์แบบไร้เซิร์ฟเวอร์ที่สร้างขึ้นสำหรับ BentoML โดยทีมงาน BentoML

ขั้นตอนถัดไป:

1. ลงทะเบียนสำหรับบัญชี BentoCloud ที่นี่

2. รับโทเค็น API ดูคำแนะนำที่นี่

3. ผลักดัน Bento ของคุณไปที่ BentoCloud:

   bentoml push voicegpt:vmjw2vucbodwkcvj

4. ปรับใช้ผ่าน Web UI ดูการปรับใช้บน BentoCloud

และกดไปที่ BentoCloud