หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

แพลตฟอร์มตัวแทนเสียงโอเพนซอร์สแบบ end-to-end : สร้าง Voice Firsts Firsts Assistants ผ่าน JSON

ความไม่ลงรอยกัน เอกสาร | เว็บไซต์

การแนะนำ

Bolna เป็นเฟรมเวิร์กการผลิตแบบครบวงจรแบบ end-to-end สำหรับการสร้างแอพพลิเคชั่นการสนทนาที่ขับเคลื่อนด้วยเสียงที่ใช้ LLM อย่างรวดเร็ว

การสาธิต

การสาธิตการสร้างตัวแทนและการทำโทร. mp4

ส่วนประกอบ

Bolna ช่วยให้คุณสร้างตัวแทนเสียง AI ซึ่งสามารถสั่งให้ทำงานที่เริ่มต้นด้วย:

  1. เริ่มโทรศัพท์โดยใช้ผู้ให้บริการโทรศัพท์เช่น Twilio , Plivo , Exotel ฯลฯ
  2. การถอดความการสนทนาโดยใช้ Deepgram ฯลฯ
  3. การใช้ LLMS เช่น OpenAI , Llama , Cohere , Mistral และอื่น ๆ เพื่อจัดการการสนทนา
  4. การสังเคราะห์การตอบสนอง LLM กลับไปยังโทรศัพท์โดยใช้ AWS Polly , XTTS , ElevenLabs , Deepgram ฯลฯ
  5. สั่งให้ตัวแทนดำเนินงานเช่นการส่งอีเมลข้อความข้อความการจองปฏิทินหลังจากการสนทนาสิ้นสุดลง

อ้างถึงเอกสารสำหรับผู้ให้บริการที่ได้รับการสนับสนุนทั้งหมด

การตั้งค่าตัวอย่างท้องถิ่น

การตั้งค่าในท้องถิ่นขั้นพื้นฐานรวมถึงการใช้ Twilio หรือ Plivo สำหรับโทรศัพท์ เราได้ทำการตั้งค่าการตั้งค่าใน local_setup/ หนึ่งจะต้องเติมไฟล์สภาพแวดล้อม .env จาก .env.sample

การตั้งค่าประกอบด้วยสี่คอนเทนเนอร์:

  1. เว็บเซิร์ฟเวอร์โทรศัพท์:
    • การเลือก Twilio: สำหรับการเริ่มต้นการโทรจะต้องตั้งค่าบัญชี Twilio
    • การเลือก plivo: สำหรับการเริ่มต้นการโทรที่จะต้องตั้งค่าบัญชี plivo
  2. Bolna Server: สำหรับการสร้างและจัดการตัวแทน
  3. ngrok : สำหรับอุโมงค์ หนึ่งจะต้องเพิ่ม authtoken to ngrok-config.yml
  4. redis : สำหรับตัวแทนที่คงอยู่และข้อมูลแจ้งเตือน

ใช้ Docker เพื่อสร้างรูปภาพโดยใช้ไฟล์ .env เป็นไฟล์สภาพแวดล้อมและเรียกใช้ในเครื่อง

  1. docker-compose build --no-cache <twilio-app | plivo-app> : สร้างภาพใหม่
  2. docker-compose up <twilio-app | plivo-app> : เรียกใช้บิลด์อิมเมจ

เมื่อคอนเทนเนอร์ Docker ขึ้นคุณสามารถเริ่มสร้างตัวแทนของคุณและสั่งให้พวกเขาเริ่มต้นการโทร

การสร้างตัวแทนของคุณและเรียกใช้การโทร

เมื่อคุณมีการตั้งค่า Docker และกำลังทำงานด้านบนคุณสามารถสร้างตัวแทนและเริ่มต้นการโทร

  1. ใช้เพย์โหลดด้านล่างเพื่อสร้างเอเจนต์ผ่าน http://localhost:5001/agent
เพย์โหลดเอเจนต์ 
 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}
  1. การตอบสนองของ API ก่อนหน้านี้จะส่งคืน UUID เป็น agent_id ใช้ agent_id นี้เพื่อเริ่มต้นการโทรผ่านเซิร์ฟเวอร์โทรศัพท์ที่ทำงานบนพอร์ต 8001 (สำหรับ Twilio) หรือ 8002 พอร์ต (สำหรับ PLIVO) ที่ http://localhost:8001/call
โทรโหลด 
 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " +19876543210 " ,
}

ใช้ผู้ให้บริการของคุณเอง

คุณสามารถเติมไฟล์ .env เพื่อใช้คีย์ของคุณเองสำหรับผู้ให้บริการ

ผู้ให้บริการ ASR
เหล่านี้คือผู้ให้บริการ ASRS ที่รองรับในปัจจุบัน:
ผู้ให้บริการ ตัวแปรสภาพแวดล้อมที่จะเพิ่มในไฟล์ .env
กรัม DEEPGRAM_AUTH_TOKEN

ผู้ให้บริการ LLM
Bolna ใช้แพ็คเกจ Litellm เพื่อรองรับการรวม LLM หลายครั้ง

นี่คือตระกูลผู้ให้บริการ LLM ที่รองรับปัจจุบัน: https://github.com/bolna-ai/bolna/blob/477e08d6800dbf02931abeeaea883d78451b7d7e2/bolna/providers.py#l29-l44

สำหรับ LLM ที่ใช้ Litellm ให้เพิ่มไฟล์ใด ๆ ต่อไปนี้ลงในไฟล์ .env ขึ้นอยู่กับกรณีการใช้งานของคุณ:

LITELLM_MODEL_API_KEY : คีย์ API ของ LLM
LITELLM_MODEL_API_BASE : url ของโฮสต์ llm
LITELLM_MODEL_API_VERSION : API เวอร์ชันสำหรับ LLMS เช่น Azure

สำหรับ LLM ที่โฮสต์ผ่าน VLLM ให้เพิ่มสิ่งต่อไปนี้ในไฟล์ .env :
VLLM_SERVER_BASE_URL : url ของโฮสต์ LLM โดยใช้ vllm


ผู้ให้บริการ TTS
นี่คือผู้ให้บริการ TTS ที่รองรับปัจจุบัน: https://github.com/bolna-ai/bolna/blob/c8a0d1428793d4df29133119e354bc2f85a7ca76/bolna/providers.py#l7-l14
ผู้ให้บริการ ตัวแปรสภาพแวดล้อมที่จะเพิ่มในไฟล์ .env
Aws Polly เข้าถึงได้จากข้อมูลรับรองความกว้างของระบบผ่าน ~/.aws
สิบเอ็ดคน ELEVENLABS_API_KEY
Openai OPENAI_API_KEY
กรัม DEEPGRAM_AUTH_TOKEN

ผู้ให้บริการโทรศัพท์
นี่คือผู้ให้บริการโทรศัพท์ที่รองรับในปัจจุบัน:
ผู้ให้บริการ ตัวแปรสภาพแวดล้อมที่จะเพิ่มในไฟล์ .env
ทวิตเตอร์ TWILIO_ACCOUNT_SID , TWILIO_AUTH_TOKEN , TWILIO_PHONE_NUMBER
พล็อต PLIVO_AUTH_ID , PLIVO_AUTH_TOKEN , PLIVO_PHONE_NUMBER

ขยายกับผู้ให้บริการโทรศัพท์รายอื่น

ในกรณีที่คุณต้องการขยายและเพิ่มโทรศัพท์อื่น ๆ เช่น Vonage, Telnyx ฯลฯ ตามแนวทางด้านล่าง:

  1. ตรวจสอบให้แน่ใจว่าการสตรีมแบบสองทิศทางได้รับการสนับสนุนโดยผู้ให้บริการโทรศัพท์
  2. เพิ่มไฟล์ Handler อินพุตเฉพาะโทรศัพท์ใน input_handlers/telephony_providers ที่เขียนฟังก์ชั่นที่กำหนดเองที่ขยายจากคลาส pelems.py
    1. ไฟล์นี้ส่วนใหญ่จะมีวิธีการที่แพ็คเก็ตกิจกรรมประเภทต่าง ๆ ถูกกลืนกินจากผู้ให้บริการโทรศัพท์
  3. เพิ่มไฟล์ Handler เอาต์พุตเฉพาะทางโทรศัพท์ใน Output_Handlers/Telephony_Providers การเขียนฟังก์ชั่นที่กำหนดเองซึ่งขยายจากคลาส Telephony.py
    1. สิ่งนี้ส่วนใหญ่เกี่ยวข้องกับการแปลงเสียงจากคลาส synthesizer เป็นรูปแบบเสียงที่รองรับและสตรีมมิ่งผ่าน WebSocket ที่จัดทำโดยผู้ให้บริการโทรศัพท์
  4. สุดท้ายคุณจะต้องเขียนเซิร์ฟเวอร์เฉพาะเช่นตัวอย่าง twilio_api_server.py ที่ให้ไว้ใน local_setup เพื่อเริ่มต้นการโทรผ่าน WebSockets

จ่าย V/S โอเพนซอร์ซ

แม้ว่าพื้นที่เก็บข้อมูลจะเป็นโอเพ่นซอร์สอย่างสมบูรณ์ แต่คุณสามารถเชื่อมต่อกับเราหากสนใจในข้อเสนอที่โฮสต์ที่มีการจัดการหรือโซลูชันที่กำหนดเองมากกว่า

การบริจาค

เรารักการมีส่วนร่วมทุกประเภท: ไม่ว่าจะเป็นขนาดเล็กหรือเล็กในการปรับปรุงทรัพยากรชุมชนนี้

  1. มีปัญหาเปิดอยู่มากมายซึ่งอาจเป็นเรื่องดีที่จะเริ่มต้นด้วย
  2. หากคุณมีข้อเสนอแนะสำหรับการปรับปรุงต้องการมีส่วนร่วมในการแก้ไขอย่างง่าย ๆ เช่นการแก้ไขการพิมพ์ผิดหรือต้องการจัดการกับข้อผิดพลาดที่ชัดเจนโปรดอย่าลังเลที่จะเริ่มต้นปัญหาใหม่หรือส่งคำขอดึง
  3. หากคุณกำลังพิจารณาการเปลี่ยนแปลงที่ใหญ่ขึ้นหรือเพิ่มเติมในที่เก็บนี้ไม่ว่าจะเป็นในแง่ของโครงสร้างหรือคุณสมบัติโปรดเริ่มต้นด้วยการสร้างปัญหาใหม่เปิดปัญหาใหม่และร่างการเปลี่ยนแปลงที่คุณเสนอ สิ่งนี้จะช่วยให้เรามีส่วนร่วมในการสนทนาก่อนที่คุณจะอุทิศเวลาหรือความพยายามเป็นจำนวนมาก ความร่วมมือและความเข้าใจของคุณได้รับการชื่นชม
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด