ElevenLabs, une startup spécialisée dans le clonage vocal de l'IA et l'API de synthèse vocale, a récemment lancé une nouvelle fonctionnalité accrocheuse : les utilisateurs peuvent créer indépendamment des agents d'IA conversationnels complets. Cette mise à jour marque la transformation d'ElevenLabs d'un fournisseur de technologie vocale pure à un fournisseur de solutions d'IA plus complètes, offrant aux développeurs un espace de personnalisation sans précédent et annonçant également une concurrence plus intense dans le domaine du dialogue sur l'IA. L'éditeur de Downcodes vous fera comprendre en profondeur la puissance de cette nouvelle fonctionnalité.
Les utilisateurs peuvent désormais personnaliser diverses variables de l'agent conversationnel en fonction de leurs propres besoins sur la plateforme de développement ElevenLabs, telles que l'intonation de la voix et la longueur de la réponse.
ElevenLabs a principalement fourni différents services de parole et de synthèse vocale dans le passé. Sam Sklar, responsable de la croissance de l'entreprise, a déclaré à TechCrunch que de nombreux clients utilisent déjà la plateforme pour créer des agents d'IA conversationnels. Mais l’intégration de la base de connaissances et la gestion des pannes clients constituent les plus grands défis. ElevenLabs a donc décidé de créer un pipeline de robots conversationnels complet pour faciliter ce processus.
Les utilisateurs peuvent commencer à créer des agents conversationnels en se connectant à leur compte ElevenLabs, en sélectionnant un modèle ou en créant un nouveau projet. Ils peuvent sélectionner la langue principale de l'agent, le premier message et les invites du système pour déterminer la personnalité de l'agent.
De plus, les développeurs doivent choisir un modèle de langage étendu (tel que Gemini, GPT ou Claude), la température de la réponse (détermine la créativité) et les restrictions d'utilisation des jetons.
Les utilisateurs peuvent également ajouter des bases de connaissances telles que des fichiers, des URL ou des blocs de texte en fonction de leurs besoins pour améliorer les capacités du robot conversationnel. Dans le même temps, ils peuvent intégrer leurs propres grands modèles de langage personnalisés au bot. Le SDK d'ElevenLabs est compatible avec Python, JavaScript, React et Swift, et la société fournit également une API WebSocket pour une personnalisation plus poussée.
L'entreprise permet également aux utilisateurs de définir des critères de collecte de données, tels que le nom et l'e-mail du client qui a parlé à l'agent, et d'utiliser le langage naturel pour définir des critères d'évaluation du succès de l'appel.
ElevenLabs exploite son pipeline de synthèse vocale existant tout en développant également des capacités de synthèse vocale pour les nouveaux produits d'IA conversationnelle. Actuellement, la société ne propose pas d'API de synthèse vocale distincte, mais elle pourrait la lancer à l'avenir, rivalisant ainsi avec les API de synthèse vocale d'entreprises telles que Google, Microsoft et Amazon, ainsi qu'avec Les API Whisper, AssemblyAI, Deepgram, Speechmatics et Gladia d'OpenAI sont en concurrence.
La société prévoit de lever une nouvelle ronde de financement pour une valorisation de plus de 3 milliards de dollars et est en concurrence avec d'autres startups d'IA vocale telles que Vapi et Retell, qui construisent également des agents conversationnels. De plus, ElevenLabs concurrencera l'API de conversation en temps réel d'OpenAI. Cependant, ElevenLabs estime que sa capacité de personnalisation et sa flexibilité de changer de modèle lui donneront un avantage sur la concurrence.
Cette nouvelle fonctionnalité d'ElevenLabs améliore non seulement sa compétitivité dans le domaine de l'IA vocale, mais fournit également aux développeurs des outils pratiques pour créer des agents d'IA conversationnels plus puissants et personnalisés. À l'avenir, avec le lancement de la fonction parole-texte et l'ajout de davantage d'options de personnalisation, ElevenLabs devrait occuper une place dans le domaine du dialogue IA. L'éditeur de Downcodes continuera de prêter attention à son développement.