ElevenLabs, ein Startup-Unternehmen, das sich auf das Klonen von KI-Stimmen und die Text-to-Speech-API konzentriert, hat kürzlich eine auffällige neue Funktion eingeführt: Benutzer können selbstständig komplette Konversations-KI-Agenten erstellen. Dieses Update markiert den Wandel von ElevenLabs von einem reinen Anbieter von Sprachtechnologie zu einem umfassenderen Anbieter von KI-Lösungen, der Entwicklern beispiellosen Anpassungsspielraum bietet und auch einen intensiveren Wettbewerb im Bereich des KI-Dialogs ankündigt. Der Herausgeber von Downcodes wird Ihnen einen detaillierten Einblick in die Leistungsfähigkeit dieser neuen Funktion geben.
Benutzer können nun auf der ElevenLabs-Entwicklerplattform verschiedene Variablen des Konversationsagenten nach ihren eigenen Bedürfnissen anpassen, wie zum Beispiel die Stimmintonation und die Antwortlänge.
ElevenLabs hat in der Vergangenheit hauptsächlich verschiedene Sprach- und Text-to-Speech-Dienste bereitgestellt. Sam Sklar, Wachstumsleiter des Unternehmens, sagte gegenüber TechCrunch, dass viele Kunden die Plattform bereits nutzen, um dialogorientierte KI-Agenten zu erstellen. Doch die Integration der Wissensdatenbank und die Bewältigung von Kundenausfällen sind die größten Herausforderungen. Deshalb hat ElevenLabs beschlossen, eine vollständige Conversational-Bot-Pipeline aufzubauen, um diesen Prozess zu vereinfachen.
Benutzer können mit der Erstellung von Konversationsagenten beginnen, indem sie sich bei ihrem ElevenLabs-Konto anmelden, eine Vorlage auswählen oder ein neues Projekt erstellen. Sie können die primäre Sprache, die erste Nachricht und Systemansagen des Agenten auswählen, um die Persönlichkeit des Agenten zu bestimmen.
Darüber hinaus müssen Entwickler ein großes Sprachmodell (z. B. Gemini, GPT oder Claude), die Antworttemperatur (bestimmt die Kreativität) und Einschränkungen für die Token-Nutzung auswählen.
Benutzer können je nach Bedarf auch Wissensdatenbanken wie Dateien, URLs oder Textblöcke hinzufügen, um die Funktionen des Konversationsbots zu erweitern. Gleichzeitig können sie ihre eigenen benutzerdefinierten großen Sprachmodelle in den Bot integrieren. Das SDK von ElevenLabs ist mit Python, JavaScript, React und Swift kompatibel, und das Unternehmen stellt außerdem eine WebSocket-API für weitere Anpassungen bereit.
Das Unternehmen ermöglicht es Benutzern außerdem, Datenerfassungskriterien zu definieren, wie z. B. den Namen und die E-Mail-Adresse des Kunden, der mit dem Agenten gesprochen hat, und natürliche Sprache zu verwenden, um Kriterien für die Bewertung des Erfolgs des Anrufs zu definieren.
ElevenLabs nutzt seine bestehende Text-to-Speech-Pipeline und entwickelt gleichzeitig Speech-to-Text-Funktionen für neue Konversations-KI-Produkte. Derzeit bietet das Unternehmen keine separate Speech-to-Text-API an, wird diese jedoch möglicherweise in Zukunft einführen und damit mit den Speech-to-Text-APIs von Unternehmen wie Google, Microsoft und Amazon sowie mit konkurrieren Die Whisper-, AssemblyAI-, Deepgram-, Speechmatics- und Gladia-APIs von OpenAI konkurrieren.
Das Unternehmen plant eine neue Finanzierungsrunde mit einem Wert von mehr als 3 Milliarden US-Dollar und konkurriert mit anderen Sprach-KI-Startups wie Vapi und Retell, die ebenfalls Konversationsagenten entwickeln. Darüber hinaus wird ElevenLabs mit der Echtzeit-Konversations-API von OpenAI konkurrieren. Allerdings ist ElevenLabs davon überzeugt, dass ihm seine Anpassungsfähigkeit und die Flexibilität, zwischen Modellen zu wechseln, einen Vorteil gegenüber der Konkurrenz verschaffen werden.
Diese neue Funktion von ElevenLabs steigert nicht nur seine Wettbewerbsfähigkeit im Bereich KI-Sprache, sondern bietet Entwicklern auch praktische Tools zum Erstellen leistungsfähigerer und personalisierterer Konversations-KI-Agenten. Mit der Einführung der Speech-to-Text-Funktion und der Hinzufügung weiterer Anpassungsoptionen wird ElevenLabs voraussichtlich künftig einen Platz im Bereich des KI-Dialogs einnehmen. Der Herausgeber von Downcodes wird seiner Entwicklung weiterhin Aufmerksamkeit schenken.