? ☎️ Marcador AI

Una publicación de blog que explica el trabajo detrás de este proyecto.

Resumen

Una aplicación completa para llamadas telefónicas de IA interrumpibles, de baja latencia y de calidad casi humana creada a partir de la unión de LLM, herramientas de comprensión del habla, modelos de texto a voz y la API del teléfono de Twilio.

Captura de pantalla de la interfaz de usuario

Escuche una llamada de ejemplo

Características

Los siguientes componentes se han implementado y combinado en forma de transmisión para lograr las tareas de llamadas de IA interrumpibles y de baja latencia :

☎️ Servicio telefónico: realiza y recibe llamadas telefónicas a través de un número de teléfono virtual (Twilio)
Servicio de voz a texto: convierte la voz de la persona que llama en texto (para que pueda pasarse a los LLM) y comprende patrones de voz, como cuándo el usuario termina de hablar y las interrupciones para facilitar la interrumpibilidad (Deepgram)
? LLM de texto a texto: comprende la conversación telefónica, puede realizar "llamadas de función" y dirige la conversación hacia la realización de tareas específicas especificadas a través de un mensaje de "sistema" (OpenAI GPT-o o Anthropic Claude Sonnet 3.5)
? Servicio de texto a voz: convierte la respuesta LLM en voz de alta calidad
Servidor web: un servidor web basado en FastAPI que proporciona puntos finales para:
- Responder llamadas utilizando el lenguaje de marcado de Twilio (Twilio ML),
- Habilitación de la transmisión de audio hacia/desde Twilio a través de un WebSocket por llamada
- Interactuar con la interfaz de usuario web básica de Steamlit
Interfaz de usuario: interfaz Streamlit simple para ver el inicio/finalización de llamadas y ver el progreso de las llamadas en tiempo real en un navegador

Instalación

1. Instalar dependencias:

(Es posible que desee crear un entorno virtual de Python para minimizar la posibilidad de conflictos).

 pip install -r requirements.txt

2. Configurar `ngrok`

Twilio requiere un servidor accesible externamente para poder enrutar llamadas. Para hacer esto mientras ejecuta una instancia local, necesita exponer el servidor al mundo exterior. Una forma de hacerlo es mediante el uso de ngrok

Ejecute ngrok para obtener una URL externa que reenvíe el tráfico a su servidor web local:

 ngrok http 3000

Copie la URL que le proporciona ngrok (por ejemplo, 1bf0-157-131-155-236.ngrok-free.app ) sin https:// al principio y configúrela como su variable SERVER en la siguiente sección.

3. Configurar el archivo .env

Haga una copia del archivo .env.example y cámbiele el nombre a .env . Luego establezca las credenciales y configuraciones requeridas.

Tenga en cuenta que puede elegir entre anthropic y openai para el servicio LLM, y entre deepgram y elevenlabs para el servicio TTS.

 # Server Configuration
SERVER=your_server_here
# port number if you are running the server locally
PORT=3000

# Service API Keys

# Twlio
TWILIO_ACCOUNT_SID=your_twilio_account_sid
TWILIO_AUTH_TOKEN=your_twilio_auth_token

# AI Services
## LLM
OPENAI_API_KEY=your_openai_api_key
ANTHROPIC_API_KEY=your_anthropic_api_key

## Speech Understanding/TTS
DEEPGRAM_API_KEY=your_deepgram_api_key

## TTS
ELEVENLABS_API_KEY=your_elevenlabs_api_key
ELEVENLABS_MODEL_ID=eleven_turbo_v2
ELEVENLABS_VOICE_ID=XrExE9yKIg1WjnnlVkGX

# Which service to use for TTS
TTS_SERVICE=elevenlabs

# Which service to use for LLM
LLM_SERVICE=openai

# When you call a number, what should the caller ID be?
APP_NUMBER=your_app_number

# When UI launches, what number should it call by default
YOUR_NUMBER=your_number

# When a call needs to be transferred, what number should it be transferred to?
TRANSFER_NUMBER=your_transfer_number

# AI Configuration
SYSTEM_MESSAGE="You are a representative called Sarah from El Camino Hospital. Your goal is to obtain a prior authorization for a patient called John Doe for a knee surgery. Be brief in your correspondence."
INITIAL_MESSAGE="Hello, my name is Sarah, and I'm calling from El Camino Hospital. I need to discuss a prior authorization for a patient. Could you please direct me to the appropriate representative?"

# Should calls be recorded? (this has legal implications, so be careful)
RECORD_CALLS=false

4. Configure el punto final de Twilio

Suponiendo que creó un número de teléfono de Twilio e instaló la CLI de Twilio, ejecute lo siguiente para configurar Twilio para usar el punto final de su aplicación:

 twilio phone-numbers:update YOURNUMBER --voice-url=https://NGROKURL/incoming

4. Ejecute el servidor FastAPI

 python app.py

5. Ejecute el servidor frontend

 streamlit ui/streamlit_app.py

Contribución

¡Las contribuciones son bienvenidas! No dude en enviar una solicitud de extracción.

Licencia

Código compartido bajo licencia MIT

Reconocimiento

Este proyecto no habría existido sin este gran ejemplo de TypeScript de Twilio Labs. Claude Sonnet 3.5, GPT-4o y Aider también brindaron amplia ayuda para escribir partes de este código base.

Expandir

Información adicional