الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

منصة وكلاء صوت مفتوحة المصدر من طرف إلى طرف : قم ببناء مساعدين للمحادثات الصوتية بسرعة من خلال JSON.

خلاف | مستندات | موقع إلكتروني

مقدمة

Bolna هو إطار جاهز لإنتاج المصادر المفتوحة المصدر من طرف إلى طرف لإنشاء تطبيقات محادثة تعتمد على الصوت LLM بسرعة.

العرض التوضيحي

التجريبي-كول وكالسيك. mp4

عناصر

تساعدك بولنا على إنشاء عوامل صوت منظمة العفو الدولية التي يمكن توجيهها للقيام بمهام تبدأ بـ:

  1. بدء مكالمة هاتفية باستخدام مقدمي خدمات الاتصالات الهاتفية مثل Twilio ، Plivo ، Exotel ، إلخ.
  2. نسخ المحادثات باستخدام Deepgram ، إلخ.
  3. باستخدام LLMs مثل OpenAI ، Llama ، Cohere ، Mistral ، إلخ للتعامل مع المحادثات
  4. توليف استجابات LLM مرة أخرى إلى الهاتف باستخدام AWS Polly ، XTTS ، ElevenLabs ، Deepgram وما إلى ذلك.
  5. توجيه الوكيل لأداء مهام مثل إرسال رسائل البريد الإلكتروني والرسائل النصية والتقويم الحجز بعد انتهاء المحادثة

ارجع إلى المستندات للحصول على عمق في جميع مقدمي الخدمات المدعومة.

إعداد مثال محلي

يتضمن الإعداد المحلي الأساسي استخدام Twilio أو Plivo للاتصال الهاتفي. قمنا بتجميع الإعداد في local_setup/ . سيحتاج المرء إلى ملء ملف .env من .env.sample .

يتكون الإعداد من أربع حاويات:

  1. خادم الويب الهاتفي:
    • اختيار Twilio: لبدء المكالمات ، سيحتاج المرء إلى إعداد حساب Twilio
    • اختيار Plivo: لبدء المكالمات ، سيحتاج المرء إلى إعداد حساب Plivo
  2. خادم بولنا: لإنشاء وكلاء المعالجة
  3. ngrok : للنفق. سيحتاج المرء إلى إضافة authtoken إلى ngrok-config.yml
  4. redis : بالنسبة للوكلاء المستمرون والبيانات السريعة

استخدم Docker لإنشاء الصور باستخدام ملف .env كملف البيئة وقم بتشغيلها محليًا

  1. docker-compose build --no-cache <twilio-app | plivo-app> : إعادة بناء الصور
  2. docker-compose up <twilio-app | plivo-app> : قم بتشغيل صور الإنشاء

بمجرد ارتفاع حاويات Docker ، يمكنك الآن البدء في إنشاء وكلائك وتوجيههم إلى بدء المكالمات.

إنشاء وكيلك واستدعاء المكالمات

بمجرد أن يكون لديك إعداد Docker أعلاه ، يمكنك إنشاء وكلاء وبدء المكالمات.

  1. استخدم الحمولة أدناه لإنشاء وكيل عبر http://localhost:5001/agent
حمولة الوكيل 
 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}
  1. سيعود استجابة واجهة برمجة التطبيقات السابقة إلى uuid agent_id . استخدم هذا agent_id لبدء مكالمة عبر خادم الاتصالات عبر الهاتف الذي يعمل على منفذ 8001 (لـ Twilio) أو 8002 منفذ (لـ Plivo) على http://localhost:8001/call
حمولة المكالمات 
 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " +19876543210 " ,
}

باستخدام مقدمي الخدمات الخاص بك

يمكنك ملء ملف .env لاستخدام مفاتيحك لمقدمي الخدمات.

مقدمي الخدمات ASR
هؤلاء هم مقدمو ASRS المدعومون الحاليون:
مزود متغير البيئة المراد إضافته في ملف .env
Deepgram DEEPGRAM_AUTH_TOKEN

موفري LLM
تستخدم Bolna حزمة Litellm لدعم عمليات تكامل LLM المتعددة.

هذه هي عائلة موفر LLM المدعومة الحالية: https://github.com/bolna-ai/bolna/blob/477e08d6800dbf02931abeea883d78451b7d7e2/bolna/providers.py#l29-l44

بالنسبة إلى LLMs المستندة إلى LLMS ، أضف أيًا مما يلي إلى ملف .env اعتمادًا على حالة الاستخدام:

LITELLM_MODEL_API_KEY : مفتاح API الخاص بـ LLM
LITELLM_MODEL_API_BASE : url of the المستضافة LLM
LITELLM_MODEL_API_VERSION : إصدار API لـ llms مثل Azure

لـ LLMS المستضافة عبر VLLM ، أضف ما يلي إلى ملف .env :
VLLM_SERVER_BASE_URL : URL من LLM المستضافة باستخدام VLLM


مقدمي TTS
هذه هي مزودي TTS المدعوين الحاليين: https://github.com/bolna-ai/bolna/blob/c8a0d1428793d4df29133119e354bc2f85a7ca76/bolna/providers.py#l7-l14
مزود متغير البيئة المراد إضافته في ملف .env
AWS بولي تم الوصول إليها من بيانات اعتماد واسعة من النظام عبر ~/.aws
أحد عشر ELEVENLABS_API_KEY
Openai OPENAI_API_KEY
Deepgram DEEPGRAM_AUTH_TOKEN

مقدمي الهاتفية
هؤلاء هم مقدمو الاتصالات الهاتفية المدعومة الحاليين:
مزود متغير البيئة المراد إضافته في ملف .env
twilio TWILIO_ACCOUNT_SID ، TWILIO_AUTH_TOKEN ، TWILIO_PHONE_NUMBER
بلفو PLIVO_AUTH_ID ، PLIVO_AUTH_TOKEN ، PLIVO_PHONE_NUMBER

يمتد مع مقدمي خدمات الاتصالات الهاتفية الآخرين

في حال كنت ترغب في تمديد وإضافة بعض الهاتفيات الأخرى مثل Vonage ، Telnyx ، إلخ. بعد الإرشادات أدناه:

  1. تأكد من دعم تدفق ثنائي الاتجاه من قبل مزود الاتصالات الهاتفية
  2. أضف ملف معالج الإدخال الخاص بالهاتف في input_handlers/tephony_providers كتابة وظائف مخصصة تمتد من فئة telephony.py
    1. سيحتوي هذا الملف بشكل أساسي على كيفية تناول أنواع مختلفة من حزم الأحداث من مزود الاتصالات الهاتفية
  3. أضف ملف معالج الإخراج الخاص بالهاتف في Output_Handlers/Telephony_Providers كتابة وظائف مخصصة تمتد من فئة Telephony.py
    1. هذا يتعلق بشكل أساسي بتحويل الصوت من فئة المزج إلى تنسيق صوتي مدعوم وتدفقه على WebSocket الذي يوفره موفر الاتصال الهاتفي
  4. أخيرًا ، سيتعين عليك كتابة خادم مخصص مثل مثال twilio_api_server.py المتوفر في Local_Setup لبدء المكالمات عبر WebSockets.

مفتوح المصدر v/s مدفوع

على الرغم من أن المستودع مفتوح المصدر بالكامل ، إلا أنه يمكنك الاتصال بنا إذا كنت مهتمًا بالعروض المدارة المدارة أو المزيد من الحلول المخصصة.

المساهمة

نحن نحب جميع أنواع المساهمات: سواء كانت مساعدة كبيرة أو صغيرة في تحسين هذا المورد المجتمعي.

  1. هناك عدد من المشكلات المفتوحة التي يمكن أن تكون جيدة للبدء بها
  2. إذا كان لديك اقتراحات للتحسينات ، أو ترغب في المساهمة في حل بسيط مثل تصحيح الخطأ المطبعي ، أو ترغب في معالجة خطأ واضح ، فلا تتردد في بدء مشكلة جديدة أو إرسال طلب سحب
  3. إذا كنت تفكر في تغيير أو إضافة أكبر إلى هذا المستودع ، سواء كان ذلك من حيث هيكله أو الميزات ، يرجى البدء بإنشاء مشكلة جديدة تفتح مشكلة جديدة وتحديد التغييرات المقترحة الخاصة بك. سيسمح لنا ذلك بالانخراط في مناقشة قبل تخصيص قدر كبير من الوقت أو الجهد. يتم تقدير تعاونك وتفهمك
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل