bolna

End-to-End-Open-Source-Voice-Agents-Plattform : Bauen Sie schnell Voice First Conversational Assistants über einen JSON auf.

Zwietracht | Docs | Webseite

Einführung

Bolna ist das End-to-End-Open-Source-Produktionsrahmen für den schnellen Aufbau von LLM-basierten sprachgesteuerten Konversationsanwendungen.

Demo

Demo-Create-Agent-und-Make-Calls.mp4

Komponenten

Bolna hilft Ihnen, AI -Sprachmittel zu erstellen, die angewiesen werden können, Aufgaben zu erledigen, beginnend mit:

1. Initiieren eines Anrufs mit Telefonieanbietern wie Twilio , Plivo , Exotel usw.
2. Transkriptieren Sie die Gespräche mit Deepgram usw.
3. Verwenden von LLMs wie OpenAI , Llama , Cohere , Mistral usw., um Gespräche zu behandeln
4. Synthese -LLM -Antworten zurück zur Telefonie mit AWS Polly , XTTS , ElevenLabs , Deepgram usw.
5. Anweisungen des Agenten, Aufgaben wie das Senden von E -Mails, Textnachrichten, die Buchung des Kalenders nach dem Ende des Gesprächs auszuführen

In den Dokumenten finden Sie in allen unterstützten Anbietern eine Deepdive.

Lokales Beispiel -Setup

Ein grundlegendes lokales Setup beinhaltet die Verwendung von Twilio oder Plivo für Telefonie. Wir haben das Setup in local_setup/ angedanzt. Man muss eine Umgebung .env.sample .env

Das Setup besteht aus vier Behältern:

1. Telefonie -Webserver:
   • Auswahl von Twilio: Für die Einleitung der Anrufe muss man ein Twilio -Konto einrichten
   • Auswahl von Plivo: Für die Einleitung der Anrufe muss man ein Plivo -Konto einrichten
2. Bolna Server: Zum Erstellen und Handhabungsagenten
3. ngrok : Zum Tunneln. Man muss das authtoken zu ngrok-config.yml hinzufügen
4. redis : für anhaltende Agenten und schnelle Daten

Verwenden Sie Docker, um die Bilder mit der .env -Datei als Umgebungsdatei zu erstellen und auszuführen und lokal auszuführen

1. docker-compose build --no-cache <twilio-app | plivo-app> : Bilder wieder aufbauen
2. docker-compose up <twilio-app | plivo-app> : Führen Sie die Build-Bilder aus

Sobald die Docker -Container abgelaufen sind, können Sie jetzt anfangen, Ihre Agenten zu erstellen und sie anzuweisen, Anrufe zu initiieren.

Erstellen Sie Ihren Agenten und rufen Sie Anrufe auf

Sobald Sie das oben genannte Docker -Setup und ausgeführt haben, können Sie Agenten erstellen und Anrufe einleiten.

1. Verwenden Sie die folgende Nutzlast, um einen Agenten über http://localhost:5001/agent zu erstellen

Agentennutzlast

 {
    " agent_config " : {
        " agent_name " : " Alfred " ,
        " agent_type " : " other " ,
        " agent_welcome_message " : " Welcome " ,
        " tasks " : [
            {
                " task_type " : " conversation " ,
                " toolchain " : {
                    " execution " : " parallel " ,
                    " pipelines " : [
                        [
                            " transcriber " ,
                            " llm " ,
                            " synthesizer "
                        ]
                    ]
                },
                " tools_config " : {
                    " input " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " llm_agent " : {
                        " agent_flow_type " : " streaming " ,
                        " provider " : " openai " ,
                        " request_json " : true,
                        " model " : " gpt-3.5-turbo-16k " ,
                        " use_fallback " : true
                    },
                    " output " : {
                        " format " : " pcm " ,
                        " provider " : " twilio "
                    },
                    " synthesizer " : {
                        " audio_format " : " wav " ,
                        " provider " : " elevenlabs " ,
                        " stream " : true,
                        " provider_config " : {
                            " voice " : " Meera - high quality, emotive " ,
                            " model " : " eleven_turbo_v2_5 " ,
                            " voice_id " : " TTa58Hl9lmhnQEvhp1WM "
                        },
                        " buffer_size " : 100.0
                    },
                    " transcriber " : {
                        " encoding " : " linear16 " ,
                        " language " : " en " ,
                        " provider " : " deepgram " ,
                        " stream " : true
                    }
                },
                " task_config " : {
                    " hangup_after_silence " : 30.0
                }
            }
        ]
    },
    " agent_prompts " : {
        " task_1 " : {
            " system_prompt " : " Ask if they are coming for party tonight "
        }
    }
}

2. Die Antwort der vorherigen API gibt eine UUID als agent_id zurück. Verwenden Sie diesen agent_id , um einen Anruf über den auf 8001 -Port (für Twilio) oder 8002 Port (für Plivo) ausgeführten Telefonverservel unter http://localhost:8001/call zu initiieren

Nutzlast aufrufen

 {
    " agent_id " : " 4c19700b-227c-4c2d-8bgf-42dfe4b240fc " ,
    " recipient_phone_number " : " [phone] " ,
} 

Verwenden Sie Ihre eigenen Anbieter

Sie können die .env -Datei bevölkern, um Ihre eigenen Schlüssel für Anbieter zu verwenden.

ASR -Anbieter

Dies sind die derzeit unterstützten ASRS -Anbieter:

Anbieter	Umgebungsvariable in .env -Datei hinzugefügt werden
Deepgram	DEEPGRAM_AUTH_TOKEN

LLM -Anbieter

Bolna verwendet Litellm -Paket, um mehrere LLM -Integrationen zu unterstützen.

These are the current supported LLM Provider Family: https://github.com/bolna-ai/bolna/blob/477e08d6800dbf02931abeeea883d78451b7d7e2/bolna/providers.py#L29-L44

Fügen Sie für LCELLM-basierte LLMs je nach Anwendungsfall eine der folgenden Angaben zur .env Datei hinzu:

LITELLM_MODEL_API_KEY : API -Schlüssel des LLM
LITELLM_MODEL_API_BASE : URL des gehosteten LLM
LITELLM_MODEL_API_VERSION : API -Version für LLMs wie Azure

Fügen Sie für LLMs, die über VllM gehostet werden, die folgende Fügen Sie der Datei .env hinzu:
VLLM_SERVER_BASE_URL : URL des gehosteten LLM mit VLLM

TTS -Anbieter

Dies sind die aktuell unterstützten TTS-Anbieter: https://github.com/bolna-ai/bolna/blob/c8a0d1428793d4df29133119e354bc2f85a7ca76/bolna/providers.py#l7-l7-l7-l14

Anbieter	Umgebungsvariable in .env -Datei hinzugefügt werden
AWS Polly	Zugriff von systemweiten Anmeldeinformationen über ~/.AWs
Elflabs	ELEVENLABS_API_KEY
Openai	OPENAI_API_KEY
Deepgram	DEEPGRAM_AUTH_TOKEN

Telefonieanbieter

Dies sind die aktuellen unterstützten Telefonieanbieter:

Anbieter	Umgebungsvariable in .env -Datei hinzugefügt werden
Dämmerung	TWILIO_ACCOUNT_SID , TWILIO_AUTH_TOKEN , TWILIO_PHONE_NUMBER
Plivo	PLIVO_AUTH_ID , PLIVO_AUTH_TOKEN , PLIVO_PHONE_NUMBER

Sich mit anderen Telefonieanbietern ausdehnen

Falls Sie eine andere Telefonie wie Vonage, Ternyx usw. erweitern und hinzufügen möchten, folgen Sie den folgenden Richtlinien:

1. Stellen Sie sicher, dass das bidirektionale Streaming vom Telefonieanbieter unterstützt wird
2. Fügen Sie die telefonisch-spezifische Eingangshandlerdatei in input_handlers/Telefony_Providers hinzu.
   1. Diese Datei enthält hauptsächlich, wie unterschiedliche Arten von Ereignispaketen vom Telefonieanbieter aufgenommen werden
3. Fügen Sie telefonisch-spezifische Ausgangshandlerdatei in Output_handlers/Telefony_Providers hinzu. Schreiben Sie benutzerdefinierte Funktionen, die sich aus der Telefonie der Telefonie erstrecken.
   1. Dies betrifft hauptsächlich die Umwandlung von Audio aus der Synthesizer -Klasse in ein unterstütztes Audio -Format und das Streamen über die vom Telefonieanbieter bereitgestellten WebSocket
4. Zuletzt müssen Sie einen dedizierten Server wie das Beispiel twilio_api_server.py schreiben, das in Local_Setup bereitgestellt wird, um Anrufe über WebSockets zu initiieren.

Open-Source V/S bezahlt

Obwohl das Repository vollständig Open Source ist, können Sie sich mit uns verbinden, wenn Sie an verwalteten gehosteten Angeboten oder maßgeschneiderten Lösungen interessiert sind.

Beitragen

Wir lieben alle Arten von Beiträgen: ob groß oder klein, um diese Community -Ressource zu verbessern.

1. Es gibt eine Reihe von offenen Problemen, die zu Beginn gut sein können
2. Wenn Sie Vorschläge für Verbesserungen haben, möchten Sie eine einfache Lösung wie die Korrektur eines Tippfehlers oder einen offensichtlichen Fehler ansprechen, bitte können Sie ein neues Problem initiieren oder eine Pull -Anfrage einreichen
3. Wenn Sie über eine größere Änderung oder Ergänzung dieses Repositorys nachdenken, sei es in Bezug auf seine Struktur oder die Funktionen, beginnen Sie bitte mit dem Erstellen eines neuen Problems ein neues Problem und skizzieren Sie Ihre vorgeschlagenen Änderungen. Auf diese Weise können wir uns an einer Diskussion führen, bevor Sie eine erhebliche Zeit oder Mühe widmen. Ihre Zusammenarbeit und Ihr Verständnis werden geschätzt