BentoChain
1.0.0
المرجع: مشاركة متوسطة
BentoChain هو ⁉️؟ مثال لنشر LangChain باستخدام؟ BentoML مستوحى من قالب langchain-gradio. يوضح هذا المثال كيفية إنشاء روبوت دردشة صوتي باستخدام OpenAI API ونماذج الكلام Transformers وGradio وBentoML. يأخذ برنامج الدردشة الآلي المدخلات من الميكروفون، والذي يتم بعد ذلك تحويله إلى نص باستخدام نموذج التعرف على الكلام.
يستجيب برنامج chatbot لإدخال المستخدم بنص يمكن تشغيله مرة أخرى للمستخدم باستخدام نموذج تحويل النص إلى كلام.
؟ يقوم بتخزين تطبيقات LangChain كصور OCI قياسية.
؟ يُنشئ نقاط نهاية OpenAPI وgRPC تلقائيًا.
☁️ نشر النماذج كخدمات صغيرة تعمل على أفضل الأجهزة والتوسع بشكل مستقل.
تثبيت تبعيات بايثون.
poetry install
poetry shellقم بتنزيل وحفظ نماذج التعرف على الكلام وتحويل النص إلى كلام.
python train.pyابدأ التطبيق محليًا.
bentoml serveتفضل بزيارة http://0.0.0.0:3000 للحصول على صفحة OpenAPI Swagger وhttp://0.0.0.0:3000/chatbot للحصول على واجهة مستخدم Gradio لبرنامج الدردشة الآلية. لاحظ أن وظيفة إدخال الميكروفون قد لا تعمل على متصفحات مثل Google Chrome لأن نقطة النهاية ليست HTTPS. ومع ذلك، سيصبح إدخال الميكروفون فعالاً بعد النشر إلى BentoCloud.
إنشاء التطبيق في قطعة أثرية Bento قابلة للتوزيع.
bentoml build
Building BentoML service " voicegpt:vmjw2vucbodwkcvj " from build context " /Users/ssheng/github/BentoChain " .
Packing model " speecht5_tts_processor:7pjfnkucbgjzycvj "
Packing model " speecht5_tts_vocoder:7suthpucbgjzycvj "
Packing model " whisper_processor:7s6wbnecbgjzycvj "
Packing model " whisper_model:7td75iucbgjzycvj "
Packing model " speecht5_tts_model:7pkfc3ecbgjzycvj "
██████╗░███████╗███╗░░██╗████████╗░█████╗░███╗░░░███╗██╗░░░░░
██╔══██╗██╔════╝████╗░██║╚══██╔══╝██╔══██╗████╗░████║██║░░░░░
██████╦╝█████╗░░██╔██╗██║░░░██║░░░██║░░██║██╔████╔██║██║░░░░░
██╔══██╗██╔══╝░░██║╚████║░░░██║░░░██║░░██║██║╚██╔╝██║██║░░░░░
██████╦╝███████╗██║░╚███║░░░██║░░░╚█████╔╝██║░╚═╝░██║███████╗
╚═════╝░╚══════╝╚═╝░░╚══╝░░░╚═╝░░░░╚════╝░╚═╝░░░░░╚═╝╚══════╝
Successfully built Bento(tag= " voicegpt:vmjw2vucbodwkcvj " ).
Possible next steps:
* Containerize your Bento with ` bentoml containerize ` :
$ bentoml containerize voicegpt:vmjw2vucbodwkcvj
* Push to BentoCloud with ` bentoml push ` :
$ bentoml push voicegpt:vmjw2vucbodwkcvjيوفر BentoML عددًا من خيارات النشر. أسهل طريقة لإعداد نقطة نهاية جاهزة للإنتاج لخدمة تضمين النص الخاص بك هي عبر BentoCloud، النظام الأساسي السحابي بدون خادم المصمم لـ BentoML، بواسطة فريق BentoML.
الخطوات التالية:
قم بالتسجيل للحصول على حساب BentoCloud هنا.
احصل على رمز API المميز، راجع التعليمات هنا.
ادفع Bento الخاص بك إلى BentoCloud:
bentoml push voicegpt:vmjw2vucbodwkcvjالنشر عبر Web UI، راجع النشر على BentoCloud
وادفع إلى BentoCloud.
