bolna

端到端开源语音代理平台：通过JSON快速构建语音首先是对话助手。

不和谐|文档|网站

介绍

Bolna是端到端开源生产的准备框架，用于快速构建基于LLM的语音驱动对话应用程序。

演示

demo-create-and-make-calls.mp4

成分

BOLNA可帮助您创建AI语音代理，可以指示以以下方式完成任务：

1. 使用Twilio ， Plivo ， Exotel等的电话提供商启动电话。
2. 使用Deepgram等转录对话等。
3. 使用OpenAI ， Llama ， Cohere ， Mistral等LLM来处理对话
4. 使用AWS Polly ， XTTS ， ElevenLabs ， Deepgram等合成llm响应返回电话。
5. 指示代理执行对话结束后诸如发送电子邮件，短信，预订日历之类的任务

请参阅文档，以了解所有受支持的提供商。

本地示例设置

基本的本地设置包括使用Twilio或Plivo的电话。我们已经在local_setup/中停止了设置。一个人需要从.env.sample中填充环境.env文件。

该设置由四个容器组成：

1. 电话网络服务器：
   • 选择Twilio：为了启动电话，将需要设置一个Twilio帐户
   • 选择PLIVO：为了启动电话，将需要设置一个PLIVO帐户
2. BOLNA服务器：用于创建和处理代理
3. ngrok ：用于隧道。一个人需要将authtoken添加到ngrok-config.yml
4. redis ：对于持久的代理和提示数据

使用docker使用.env文件作为环境文件构建图像并在本地运行

1. docker-compose build --no-cache <twilio-app | plivo-app> ：重建图像
2. docker-compose up <twilio-app | plivo-app> ：运行构建图像

Docker容器启动后，您现在可以开始创建您的代理并指示他们启动呼叫。

创建您的代理并调用电话

完成上述Docker设置和运行后，您可以创建代理并启动呼叫。

1. 使用以下有效载荷通过http://localhost:5001/agent创建代理

代理有效载荷

 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}

2. 以前的API的响应将返回uuid作为agent_id 。使用此agent_id通过在8001端口上运行的电话服务器（用于Twilio）或8002端口（对于PLIVO）启动http://localhost:8001/call

致电有效载荷

 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " [phone] " ,
} 

使用您自己的提供商

您可以填充.env文件以使用自己的密钥为提供商。

ASR提供商

这些是当前受支持的ASRS提供商：

提供者	环境变量要在.env文件中添加
深色	DEEPGRAM_AUTH_TOKEN

LLM提供商

Bolna使用Litellm软件包来支持多个LLM集成。

这些是当前支持的LLM提供商家庭：https：//github.com/bolna-ai/bolna/bolna/blob/477E08D6800DBF02931ABEEEA883D78451B7D7D7E2/BOLNA

对于基于LITELLM的LLM，请根据您的用.env添加以下两个文件：

LITELLM_MODEL_API_KEY ：llm的API键
LITELLM_MODEL_API_BASE ：托管LLM的URL
LITELLM_MODEL_API_VERSION ：azure等llms的API版本

对于通过VLLM托管的LLM，将以下内容添加到.env文件：
VLLM_SERVER_BASE_URL ：使用VLLM的托管LLM的URL

TTS提供商

这些是当前受支持的TTS提供商：https：//github.com/bolna-ai/bolna/bolna/blob/c8a0d1428793d4d4df29131319e354bc2f85455a76ca76/bolna/bolna/bolna/bolna/providers.py#l7-l14-l7-l7-l14-l14-l14-l14-l14 ca

提供者	环境变量要在.env文件中添加
AWS Polly	通过〜/.aw从系统宽的凭据访问
Elevenlabs	ELEVENLABS_API_KEY
Openai	OPENAI_API_KEY
深色	DEEPGRAM_AUTH_TOKEN

电话提供商

这些是当前受支持的电话提供商：

提供者	环境变量要在.env文件中添加
Twilio	TWILIO_ACCOUNT_SID ， TWILIO_AUTH_TOKEN ， TWILIO_PHONE_NUMBER
Plivo	PLIVO_AUTH_ID ， PLIVO_AUTH_TOKEN ， PLIVO_PHONE_NUMBER

与其他电话提供商一起延伸

如果您希望扩展并添加其他一些电话，例如Vonage，telnyx等。遵循以下准则：

1. 确保电话提供商支持双向流媒体
2. 在Input_handlers/Telephony_providers中添加特定于电话的输入处理程序文件，编写从Telephony.py类延伸的自定义功能
   1. 该文件将主要包含电话提供商中如何摄入不同类型的事件数据包
3. 在output_handlers/telephony_providers中添加特定于电话的输出处理程序文件，编写从Telephony.py类延伸的自定义功能
   1. 这主要涉及将音频从合成器类转换为支持的音频格式，并通过电话提供商提供的Websocket进行流式传输
4. 最后，您必须编写一个专用服务器，例如local_setup中提供的示例twilio_api_server.py，以通过WebSockets启动呼叫。

开源v/s已付

尽管存储库是完全开源的，但如果对托管托管产品或更多定制解决方案感兴趣，您可以与我们联系。

贡献

我们喜欢各种类型的贡献：无论大小都可以帮助改善社区资源。

1. 存在许多开放问题，可能是一个很好的开始
2. 如果您有增强功能的建议，请希望贡献一个简单的修复，例如纠正错别字或想解决明显的错误，请随时发起新问题或提交拉动请求
3. 如果您正在考虑更大的更改或对此存储库的添加，无论是在其结构还是功能方面，请首先创建一个新问题打开新问题并概述您建议的更改。这将使我们能够在花费大量时间或精力之前进行讨论。感谢您的合作和理解