BentoChain

?? BentoChain - Penerapan LangChain di BentoML

Referensi: Postingan sedang

---

BentoChain adalah ?️? Contoh penerapan LangChain menggunakan ? BentoML terinspirasi oleh langchain-gradio-template. Contoh ini menunjukkan cara membuat chatbot suara menggunakan OpenAI API, model ucapan Transformers, Gradio, dan BentoML. Chatbot mengambil masukan dari mikrofon, yang kemudian diubah menjadi teks menggunakan model pengenalan suara.

Chatbot merespons masukan pengguna dengan teks, yang dapat diputar ulang ke pengguna menggunakan model text-to-speech.

Demo

demo.mp4

Mengapa menerapkan aplikasi LangChain dengan BentoML?

? Menyimpan aplikasi LangChain sebagai image OCI standar.

? Menghasilkan titik akhir OpenAPI dan gRPC secara otomatis.

☁️ Menerapkan model sebagai layanan mikro yang berjalan pada perangkat keras paling optimal dan melakukan penskalaan secara mandiri.

instruksi

Instal dependensi Python.

poetry install
poetry shell

Unduh dan simpan pengenalan suara dan model text-to-speech.

python train.py

Mulai aplikasi secara lokal.

bentoml serve

Kunjungi http://0.0.0.0:3000 untuk halaman OpenAPI Swagger dan http://0.0.0.0:3000/chatbot untuk Gradio UI untuk chatbot. Perhatikan bahwa fungsi masukan mikrofon mungkin tidak berfungsi di browser seperti Google Chrome karena titik akhirnya bukan HTTPS. Namun, input mikrofon akan berfungsi setelah diterapkan ke BentoCloud.

Bangun aplikasi menjadi artefak Bento yang dapat didistribusikan.

bentoml build

Building BentoML service " voicegpt:vmjw2vucbodwkcvj " from build context " /Users/ssheng/github/BentoChain " .
Packing model " speecht5_tts_processor:7pjfnkucbgjzycvj "
Packing model " speecht5_tts_vocoder:7suthpucbgjzycvj "
Packing model " whisper_processor:7s6wbnecbgjzycvj "
Packing model " whisper_model:7td75iucbgjzycvj "
Packing model " speecht5_tts_model:7pkfc3ecbgjzycvj "

██████╗░███████╗███╗░░██╗████████╗░█████╗░███╗░░░███╗██╗░░░░░
██╔══██╗██╔════╝████╗░██║╚══██╔══╝██╔══██╗████╗░████║██║░░░░░
██████╦╝█████╗░░██╔██╗██║░░░██║░░░██║░░██║██╔████╔██║██║░░░░░
██╔══██╗██╔══╝░░██║╚████║░░░██║░░░██║░░██║██║╚██╔╝██║██║░░░░░
██████╦╝███████╗██║░╚███║░░░██║░░░╚█████╔╝██║░╚═╝░██║███████╗
╚═════╝░╚══════╝╚═╝░░╚══╝░░░╚═╝░░░░╚════╝░╚═╝░░░░░╚═╝╚══════╝

Successfully built Bento(tag= " voicegpt:vmjw2vucbodwkcvj " ).

Possible next steps:

 * Containerize your Bento with ` bentoml containerize ` :
    $ bentoml containerize voicegpt:vmjw2vucbodwkcvj

 * Push to BentoCloud with ` bentoml push ` :
    $ bentoml push voicegpt:vmjw2vucbodwkcvj

Penerapan Produksi

BentoML menyediakan sejumlah opsi penerapan. Cara termudah untuk menyiapkan titik akhir siap produksi dari layanan penyematan teks Anda adalah melalui BentoCloud, platform cloud tanpa server yang dibuat untuk BentoML, oleh tim BentoML.

Langkah selanjutnya:

1. Daftar akun BentoCloud di sini.

2. Dapatkan Token API, lihat instruksi di sini.

3. Dorong Bento Anda ke BentoCloud:

   bentoml push voicegpt:vmjw2vucbodwkcvj

4. Penerapan melalui UI Web, lihat Penerapan di BentoCloud

Dan dan dorong ke BentoCloud.