aidialer

？ ☎️人工智慧撥號器

一篇部落格文章解釋了該專案背後的工作。

概括

一個完整的堆疊應用程序，用於可中斷、低延遲和接近人類質量的 AI 電話，由拼接 LLM、語音理解工具、文本到語音模型和 Twilio 的電話 API 構建

聽聽看範例通話

特徵

以下元件已以串流方式實現和組合在一起，以實現低延遲和可中斷的AI 呼叫任務：

• ☎️ 電話服務：透過虛擬電話號碼撥打和接聽電話 (Twilio)
• 語音轉文字服務：將來電者的語音轉換為文字（以便可以將其傳遞給法學碩士）並理解語音模式，例如使用者何時講完話和中斷，以促進可中斷性 (Deepgram)
• ？文字到文字 LLM：理解電話對話，可以進行「功能呼叫」並引導對話完成透過「系統」訊息指定的特定任務（OpenAI GPT-o 或 Anthropic Claude Sonnet 3.5）
• ？文字轉語音服務：將 LLM 回應轉換為高品質語音
• Web 伺服器：基於 FastAPI 的 Web 伺服器，提供下列端點：
  • 使用 Twilio 的標記語言 (Twilio ML) 接聽電話，
  • 透過每次呼叫 WebSocket 啟用與 Twilio 之間的音訊串流
  • 與基本 Steamlit Web UI 交互
• 前端 UI：簡單的 Streamlit 前端，可在瀏覽器中即時查看發起/結束通話並查看通話進度

安裝

1.安裝依賴項：

（您可能想要建立一個 Python 虛擬環境以最大限度地減少衝突的可能性。）

 pip install -r requirements.txt

2.設定ngrok

Twilio 需要外部可存取的伺服器才能路由呼叫。要在執行本機執行個體時執行此操作，您需要將伺服器公開給外界。一種方法是使用ngrok

執行ngrok以取得將流量轉送至本機 Web 伺服器的外部 URL：

 ngrok http 3000

複製 ngrok 為您提供的 URL（例如1bf0-157-131-155-236.ngrok-free.app ），不帶https://開頭，並將其設定為下一節中的SERVER變數。

3.配置.env文件

複製.env.example檔案並將其重命名為.env 。然後設定所需的憑證和配置。

請注意，對於 LLM 服務，您可以在anthropic和openai之間進行選擇；對於 TTS 服務，您可以在deepgram和elevenlabs之間進行選擇。

 # Server Configuration
SERVER=your_server_here
# port number if you are running the server locally
PORT=3000

# Service API Keys

# Twlio
TWILIO_ACCOUNT_SID=your_twilio_account_sid
TWILIO_AUTH_TOKEN=your_twilio_auth_token

# AI Services
## LLM
OPENAI_API_KEY=your_openai_api_key
ANTHROPIC_API_KEY=your_anthropic_api_key

## Speech Understanding/TTS
DEEPGRAM_API_KEY=your_deepgram_api_key

## TTS
ELEVENLABS_API_KEY=your_elevenlabs_api_key
ELEVENLABS_MODEL_ID=eleven_turbo_v2
ELEVENLABS_VOICE_ID=XrExE9yKIg1WjnnlVkGX

# Which service to use for TTS
TTS_SERVICE=elevenlabs

# Which service to use for LLM
LLM_SERVICE=openai

# When you call a number, what should the caller ID be?
APP_NUMBER=your_app_number

# When UI launches, what number should it call by default
YOUR_NUMBER=your_number

# When a call needs to be transferred, what number should it be transferred to?
TRANSFER_NUMBER=your_transfer_number

# AI Configuration
SYSTEM_MESSAGE="You are a representative called Sarah from El Camino Hospital. Your goal is to obtain a prior authorization for a patient called John Doe for a knee surgery. Be brief in your correspondence."
INITIAL_MESSAGE="Hello, my name is Sarah, and I'm calling from El Camino Hospital. I need to discuss a prior authorization for a patient. Could you please direct me to the appropriate representative?"

# Should calls be recorded? (this has legal implications, so be careful)
RECORD_CALLS=false

4.配置Twilio端點

假設您已建立 Twilio 電話號碼並安裝了 Twilio 的 CLI，請執行以下命令將 Twilio 設定為使用您的應用程式的端點：

 twilio phone-numbers:update YOURNUMBER --voice-url=https://NGROKURL/incoming

4. 運行FastAPI伺服器

 python app.py

5. 運行前端伺服器

 streamlit ui/streamlit_app.py

貢獻

歡迎貢獻！請隨時提交 Pull 請求。

執照

版權所有阿米爾·基亞尼，2024

根據 MIT 許可證共享代碼

致謝

如果沒有 Twilio Labs 的這個出色的 TypeScript 範例，這個專案就不會發生。 Claude Sonnet 3.5、GPT-4o 和 Aider 也為撰寫此程式碼庫的部分內容提供了充足的幫助？