bolna

Plateforme d'agents vocaux open-source de bout en bout : Construisez rapidement les assistants conversationnels des premières voix via un JSON.

Discorde | Docs | Site web

Introduction

Bolna est le cadre prêt à la production open source de bout en bout pour la construction rapide d'applications conversationnelles basées sur la voix basées sur LLM.

Démo

démo-créate-agent-and-make-calcalls.mp4

Composants

Bolna vous aide à créer des agents vocaux d'IA qui peuvent être invités à effectuer des tâches à partir de:

1. Initiez un appel téléphonique à l'aide de fournisseurs de téléphonie comme Twilio , Plivo , Exotel , etc.
2. Transcription les conversations à l'aide de Deepgram , etc.
3. Utilisation de LLM comme OpenAI , Llama , Cohere , Mistral , etc. pour gérer les conversations
4. Synthétisant les réponses LLM à la téléphonie en utilisant AWS Polly , XTTS , ElevenLabs , Deepgram , etc.
5. Instruire l'agent à effectuer des tâches comme envoyer des e-mails, des messages texte, un calendrier de réservation après la fin de la conversation

Reportez-vous aux documents pour un Deepdive dans tous les fournisseurs soutenus.

Configuration de l'exemple local

Une configuration locale de base comprend l'utilisation de Twilio ou Plivo pour la téléphonie. Nous avons docké la configuration dans local_setup/ . Il faudra remplir un fichier .env environnement à partir de .env.sample .

La configuration se compose de quatre conteneurs:

1. Serveur Web de téléphonie:
   • Choisir Twilio: Pour lancer les appels, il faudra mettre en place un compte Twilio
   • Choisir PLIVO: Pour lancer les appels, il faudra mettre en place un compte PLIVO
2. Bolna Server: pour la création et la manipulation des agents
3. ngrok : pour le tunneling. Il faudra ajouter l' authtoken à ngrok-config.yml
4. redis : pour les agents persistants et les données rapides

Utilisez Docker pour créer les images à l'aide du fichier .env comme fichier environnement et exécutez-les localement

1. docker-compose build --no-cache <twilio-app | plivo-app> : Rebuild Images
2. docker-compose up <twilio-app | plivo-app> : Exécutez les images de construction

Une fois les conteneurs Docker en place, vous pouvez maintenant commencer à créer vos agents et leur demander d'initier des appels.

Créer votre agent et invoquer des appels

Une fois que vous avez la configuration et l'exécution de Docker ci-dessus, vous pouvez créer des agents et lancer des appels.

1. Utilisez la charge utile ci-dessous pour créer un agent via http://localhost:5001/agent

Télélée utile de l'agent

 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}

2. La réponse de l'API précédente renverra un UUID comme agent_id . Utilisez ce agent_id pour lancer un appel via le serveur de téléphonie exécutant sur le port 8001 (pour Twilio) ou le port 8002 (pour Plivo) sur http://localhost:8001/call

APPEL

 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " [phone] " ,
} 

En utilisant vos propres fournisseurs

Vous pouvez remplir le fichier .env pour utiliser vos propres clés pour les fournisseurs.

Fournisseurs ASR

Ce sont les fournisseurs ASRS soutenus actuels:

Fournisseur	Variable d'environnement à ajouter dans le fichier .env
Profondeur	DEEPGRAM_AUTH_TOKEN

Fournisseurs de LLM

Bolna utilise le package Litellm pour prendre en charge plusieurs intégrations LLM.

Ce sont la famille du fournisseur LLM prise en charge actuelle: https://github.com/bolna-ai/bolna/blob/477e08d6800dbf02931abeeea883d78451b7d7e2/bolna/providers.py#l29-l44

Pour les LLM basés sur Litellm, ajoutez l'une ou l'autre des éléments suivants au fichier .env en fonction de votre cas d'utilisation:

LITELLM_MODEL_API_KEY : clé API du LLM
LITELLM_MODEL_API_BASE : URL du LLM hébergé
LITELLM_MODEL_API_VERSION : version de l'API pour les LLM comme Azure

Pour les LLM hébergés via VLLM, ajoutez ce qui suit au fichier .env :
VLLM_SERVER_BASE_URL : URL du LLM hébergé en utilisant vllm

Fournisseurs de TTS

Ce sont les fournisseurs TTS pris en charge actuels: https://github.com/bolna-ai/bolna/blob/c8a0d1428793d4df29133119e354bc2f85a7ca76/bolna/providers.py#l7-l14

Fournisseur	Variable d'environnement à ajouter dans le fichier .env
AWS Polly	Accessible à partir des informations d'identification à large largeur système via ~ / .AWS
Elevenlabs	ELEVENLABS_API_KEY
Openai	OPENAI_API_KEY
Profondeur	DEEPGRAM_AUTH_TOKEN

Fournisseurs de téléphonie

Ce sont les fournisseurs de téléphonie pris en charge actuels:

Fournisseur	Variable d'environnement à ajouter dans le fichier .env
Twilio	TWILIO_ACCOUNT_SID , TWILIO_AUTH_TOKEN , TWILIO_PHONE_NUMBER
Plivo	PLIVO_AUTH_ID , PLIVO_AUTH_TOKEN , PLIVO_PHONE_NUMBER

S'étendant avec d'autres fournisseurs de téléphonie

Dans le cas où vous souhaitez prolonger et ajouter une autre téléphonie comme Vonage, Telnyx, etc. Suivant les directives ci-dessous:

1. Assurez-vous que le streaming bidirectionnel est soutenu par le fournisseur de téléphonie
2. Ajoutez le fichier de gestionnaire d'entrée spécifique à la téléphonie dans input_handlers / téléphonie_providers écrivant des fonctions personnalisées s'étendant à partir de la classe THEPHELLE.py
   1. Ce fichier contiendra principalement comment les différents types de paquets d'événements sont ingérés du fournisseur de téléphonie
3. Ajoutez un fichier de gestionnaire de sortie spécifique à la téléphonie dans Output_Handlers / Phony_Providers écrivant des fonctions personnalisées s'étendant de la classe THEPHELLE.PY
   1. Cela concerne principalement la conversion de l'audio de la classe de synthétiseur en un format audio pris en charge et le diffuser sur le WebSocket fourni par le fournisseur de téléphonie
4. Enfin, vous devrez écrire un serveur dédié comme l'exemple Twilio_API_Server.py fourni dans local_setup pour initier des appels sur WebSockets.

Open source v / s payé

Bien que le référentiel soit entièrement open source, vous pouvez vous connecter avec nous si vous êtes intéressé par des offres hébergées gérées ou des solutions plus personnalisées.

Contributif

Nous aimons tous les types de contributions: qu'il s'agisse d'une grande ou petite aide pour améliorer cette ressource communautaire.

1. Il y a un certain nombre de problèmes ouverts présents qui peuvent être bons pour commencer
2. Si vous avez des suggestions d'améliorations, souhaitez contribuer un correctif simple, comme la correction d'une faute de frappe, ou si vous souhaitez aborder un bogue apparent, n'hésitez pas à initier un nouveau problème ou à soumettre une demande de traction
3. Si vous envisagez un changement ou un ajout plus important à ce référentiel, que ce soit en termes de structure ou des fonctionnalités, veuillez commencer par créer un nouveau problème ouvrir un nouveau problème et décrire vos modifications proposées. Cela nous permettra de s'engager dans une discussion avant de consacrer un temps ou des efforts importants. Votre coopération et votre compréhension sont appréciées