bolna

端到端開源語音代理平台：通過JSON快速構建語音首先是對話助手。

不和諧|文檔|網站

介紹

Bolna是端到端開源生產的準備框架，用於快速構建基於LLM的語音驅動對話應用程序。

演示

demo-create-and-make-calls.mp4

成分

BOLNA可幫助您創建AI語音代理，可以指示以以下方式完成任務：

1. 使用Twilio ， Plivo ， Exotel等的電話提供商啟動電話。
2. 使用Deepgram等轉錄對話等。
3. 使用OpenAI ， Llama ， Cohere ， Mistral等LLM來處理對話
4. 使用AWS Polly ， XTTS ， ElevenLabs ， Deepgram等合成llm響應返回電話。
5. 指示代理執行對話結束後諸如發送電子郵件，短信，預訂日曆之類的任務

請參閱文檔，以了解所有受支持的提供商。

本地示例設置

基本的本地設置包括使用Twilio或Plivo的電話。我們已經在local_setup/中停止了設置。一個人需要從.env.sample中填充環境.env文件。

該設置由四個容器組成：

1. 電話網絡服務器：
   • 選擇Twilio：為了啟動電話，將需要設置一個Twilio帳戶
   • 選擇PLIVO：為了啟動電話，將需要設置一個PLIVO帳戶
2. BOLNA服務器：用於創建和處理代理
3. ngrok ：用於隧道。一個人需要將authtoken添加到ngrok-config.yml
4. redis ：對於持久的代理和提示數據

使用docker使用.env文件作為環境文件構建圖像並在本地運行

1. docker-compose build --no-cache <twilio-app | plivo-app> ：重建圖像
2. docker-compose up <twilio-app | plivo-app> ：運行構建圖像

Docker容器啟動後，您現在可以開始創建您的代理並指示他們啟動呼叫。

創建您的代理並調用電話

完成上述Docker設置和運行後，您可以創建代理並啟動呼叫。

1. 使用以下有效載荷通過http://localhost:5001/agent創建代理

代理有效載荷

 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}

2. 以前的API的響應將返回uuid作為agent_id 。使用此agent_id通過在8001端口上運行的電話服務器（用於Twilio）或8002端口（對於PLIVO）啟動http://localhost:8001/call

致電有效載荷

 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " [phone] " ,
} 

使用您自己的提供商

您可以填充.env文件以使用自己的密鑰為提供商。

ASR提供商

這些是當前受支持的ASRS提供商：

提供者	環境變量要在.env文件中添加
深色	DEEPGRAM_AUTH_TOKEN

LLM提供商

Bolna使用Litellm軟件包來支持多個LLM集成。

這些是當前支持的LLM提供商家庭：https：//github.com/bolna-ai/bolna/bolna/blob/477E08D6800DBF02931ABEEEA883D78451B7D7D7E2/BOLNA

對於基於LITELLM的LLM，請根據您的用.env添加以下兩個文件：

LITELLM_MODEL_API_KEY ：llm的API鍵
LITELLM_MODEL_API_BASE ：託管LLM的URL
LITELLM_MODEL_API_VERSION ：azure等llms的API版本

對於通過VLLM託管的LLM，將以下內容添加到.env文件：
VLLM_SERVER_BASE_URL ：使用VLLM的託管LLM的URL

TTS提供商

這些是當前受支持的TTS提供商：https：//github.com/bolna-ai/bolna/bolna/blob/c8a0d1428793d4d4df29131319e354bc2f85455a76ca76/bolna/bolna/bolna/bolna/providers.py#l7-l14-l7-l7-l14-l14-l14-l14-l14 ca

提供者	環境變量要在.env文件中添加
AWS Polly	通過〜/.aw從系統寬的憑據訪問
Elevenlabs	ELEVENLABS_API_KEY
Openai	OPENAI_API_KEY
深色	DEEPGRAM_AUTH_TOKEN

電話提供商

這些是當前受支持的電話提供商：

提供者	環境變量要在.env文件中添加
Twilio	TWILIO_ACCOUNT_SID ， TWILIO_AUTH_TOKEN ， TWILIO_PHONE_NUMBER
Plivo	PLIVO_AUTH_ID ， PLIVO_AUTH_TOKEN ， PLIVO_PHONE_NUMBER

與其他電話提供商一起延伸

如果您希望擴展並添加其他一些電話，例如Vonage，telnyx等。遵循以下準則：

1. 確保電話提供商支持雙向流媒體
2. 在Input_handlers/Telephony_providers中添加特定於電話的輸入處理程序文件，編寫從Telephony.py類延伸的自定義功能
   1. 該文件將主要包含電話提供商中如何攝入不同類型的事件數據包
3. 在output_handlers/telephony_providers中添加特定於電話的輸出處理程序文件，編寫從Telephony.py類延伸的自定義功能
   1. 這主要涉及將音頻從合成器類轉換為支持的音頻格式，並通過電話提供商提供的Websocket進行流式傳輸
4. 最後，您必須編寫一個專用服務器，例如local_setup中提供的示例twilio_api_server.py，以通過WebSockets啟動呼叫。

開源v/s已付

儘管存儲庫是完全開源的，但如果對託管託管產品或更多定制解決方案感興趣，您可以與我們聯繫。

貢獻

我們喜歡各種類型的貢獻：無論大小都可以幫助改善社區資源。

1. 存在許多開放問題，可能是一個很好的開始
2. 如果您有增強功能的建議，請希望貢獻一個簡單的修復，例如糾正錯別字或想解決明顯的錯誤，請隨時發起新問題或提交拉動請求
3. 如果您正在考慮更大的更改或對此存儲庫的添加，無論是在其結構還是功能方面，請首先創建一個新問題打開新問題並概述您建議的更改。這將使我們能夠在花費大量時間或精力之前進行討論。感謝您的合作和理解