aidialer

? ☎️ Discador IA

Uma postagem no blog explicando o trabalho por trás deste projeto.

Resumo

Um aplicativo full stack para chamadas telefônicas interrompíveis, de baixa latência e com qualidade quase humana, criadas a partir de LLMs, ferramentas de compreensão de fala, modelos de conversão de texto em fala e API de telefone da Twilio

Ouça o exemplo de chamada

Características

Os seguintes componentes foram implementados e combinados em streaming para realizar as tarefas de chamadas de IA interrompíveis e de baixa latência :

• ☎️ Atendimento telefônico: faz e recebe ligações por meio de um número de telefone virtual (Twilio)
• Serviço de fala em texto: converte a voz do chamador em texto (para que possa ser repassada aos LLMs) e entende padrões de fala, como quando o usuário termina de falar e interrupções para facilitar a interrompibilidade (Deepgram)
• ? LLM texto para texto: entende a conversa telefônica, pode fazer “chamadas de função” e direcionar a conversa para a realização de tarefas específicas especificadas por meio de uma mensagem de “sistema” (OpenAI GPT-o ou Anthropic Claude Sonnet 3.5)
• ? Serviço de conversão de texto em fala: converte a resposta LLM em fala de alta qualidade
• Servidor Web: um servidor Web baseado em FastAPI que fornece terminais para:
  • Atender chamadas usando a linguagem de marcação da Twilio (Twilio ML),
  • Habilitando streaming de áudio de/para Twilio por meio de um WebSocket por chamada
  • Interagindo com a interface web básica do Steamlit
• UI de front-end: front-end Streamlit simples para ver chamadas iniciadas/terminadas e visualizar o progresso da chamada em tempo real em um navegador

Instalação

1. Instale dependências:

(Você pode querer criar um ambiente virtual Python para minimizar a chance de conflitos.)

 pip install -r requirements.txt

2. Configure ngrok

A Twilio requer um servidor acessível externamente para poder rotear chamadas. Para fazer isso durante a execução de uma instância local, é necessário expor o servidor ao mundo externo. Uma maneira de fazer isso é usando ngrok

Execute ngrok para obter uma URL externa que encaminhe o tráfego para o seu servidor web local:

 ngrok http 3000

Copie a URL fornecida pelo ngrok (por exemplo, 1bf0-157-131-155-236.ngrok-free.app ) sem https:// no início e defina-a como sua variável SERVER na seção seguinte.

3. Configure o arquivo .env

Faça uma cópia do arquivo .env.example e renomeie-o para .env . Em seguida, defina as credenciais e configurações necessárias.

Observe que você pode escolher entre anthropic e openai para o serviço LLM, e entre deepgram e elevenlabs para o serviço TTS.

 # Server Configuration
SERVER=your_server_here
# port number if you are running the server locally
PORT=3000

# Service API Keys

# Twlio
TWILIO_ACCOUNT_SID=your_twilio_account_sid
TWILIO_AUTH_TOKEN=your_twilio_auth_token

# AI Services
## LLM
OPENAI_API_KEY=your_openai_api_key
ANTHROPIC_API_KEY=your_anthropic_api_key

## Speech Understanding/TTS
DEEPGRAM_API_KEY=your_deepgram_api_key

## TTS
ELEVENLABS_API_KEY=your_elevenlabs_api_key
ELEVENLABS_MODEL_ID=eleven_turbo_v2
ELEVENLABS_VOICE_ID=XrExE9yKIg1WjnnlVkGX

# Which service to use for TTS
TTS_SERVICE=elevenlabs

# Which service to use for LLM
LLM_SERVICE=openai

# When you call a number, what should the caller ID be?
APP_NUMBER=your_app_number

# When UI launches, what number should it call by default
YOUR_NUMBER=your_number

# When a call needs to be transferred, what number should it be transferred to?
TRANSFER_NUMBER=your_transfer_number

# AI Configuration
SYSTEM_MESSAGE="You are a representative called Sarah from El Camino Hospital. Your goal is to obtain a prior authorization for a patient called John Doe for a knee surgery. Be brief in your correspondence."
INITIAL_MESSAGE="Hello, my name is Sarah, and I'm calling from El Camino Hospital. I need to discuss a prior authorization for a patient. Could you please direct me to the appropriate representative?"

# Should calls be recorded? (this has legal implications, so be careful)
RECORD_CALLS=false

4. Configure o ponto final do Twilio

Supondo que você tenha criado um número de telefone do Twilio e instalado a CLI do Twilio, execute o seguinte para configurar o Twilio para usar o endpoint do seu aplicativo:

 twilio phone-numbers:update YOURNUMBER --voice-url=https://NGROKURL/incoming

4. Execute o servidor FastAPI

 python app.py

5. Execute o servidor Frontend

 streamlit ui/streamlit_app.py

Contribuição

Contribuições são bem-vindas! Sinta-se à vontade para enviar uma solicitação pull.

Licença

Direitos autorais Amir Kiani, 2024

Código compartilhado sob licença MIT

Reconhecimento

Este projeto não teria acontecido sem este excelente exemplo de TypeScript do Twilio Labs. Claude Sonnet 3.5, GPT-4o e Aider também forneceram ampla ajuda na escrita de partes desta base de código?