ElevenLabs, una nueva empresa que se centra en la clonación de voz mediante IA y la API de texto a voz, lanzó recientemente una nueva función: los usuarios pueden crear agentes de IA conversacionales completos de forma independiente. Esta nueva característica permite a los usuarios personalizar muchos parámetros del agente conversacional según sus propias necesidades en la plataforma de desarrollo de ElevenLabs, como la entonación de la voz, la duración de la respuesta, etc., lo que mejora enormemente la personalización y practicidad del agente de IA. Este movimiento no sólo simplifica el proceso de creación de bots conversacionales, sino que también proporciona a los desarrolladores herramientas más flexibles y potentes para afrontar diversos escenarios de aplicaciones.
ElevenLabs, una nueva empresa que se centra en la clonación de voz mediante IA y la API de texto a voz, anunció recientemente el lanzamiento de nuevas funciones que permiten a los usuarios crear agentes de IA conversacionales completos.
Los usuarios ahora pueden personalizar varias variables del agente conversacional según sus propias necesidades en la plataforma de desarrollo de ElevenLabs, como la entonación de la voz y la duración de la respuesta.
ElevenLabs ha proporcionado principalmente diferentes servicios de voz y de texto a voz en el pasado. Sam Sklar, jefe de crecimiento de la compañía, dijo a TechCrunch que muchos clientes ya están utilizando la plataforma para crear agentes de IA conversacionales. Pero integrar la base de conocimientos y gestionar las interrupciones de los clientes son los mayores desafíos. Por eso, ElevenLabs decidió crear un canal completo de bots conversacionales para facilitar este proceso.
Los usuarios pueden comenzar a crear agentes conversacionales iniciando sesión en su cuenta de ElevenLabs, seleccionando una plantilla o creando un nuevo proyecto. Pueden seleccionar el idioma principal del agente, el primer mensaje y las indicaciones del sistema para determinar la personalidad del agente.
Además, los desarrolladores deben elegir un modelo de lenguaje grande (como Gemini, GPT o Claude), la temperatura de la respuesta (determina la creatividad) y las restricciones de uso de tokens.
Los usuarios también pueden agregar bases de conocimiento como archivos, URL o bloques de texto según sus necesidades para mejorar las capacidades del bot conversacional. Al mismo tiempo, pueden integrar sus propios modelos de lenguaje grandes personalizados con el bot. El SDK de ElevenLabs es compatible con Python, JavaScript, React y Swift, y la empresa también proporciona una API WebSocket para una mayor personalización.
La empresa también permite a los usuarios definir criterios de recopilación de datos, como el nombre y el correo electrónico del cliente que habló con el agente, y utilizar lenguaje natural para definir criterios para evaluar el éxito de la llamada.
ElevenLabs está aprovechando su canal existente de conversión de texto a voz y al mismo tiempo desarrolla capacidades de conversión de voz a texto para nuevos productos de IA conversacional. Actualmente, la empresa no ofrece una API de voz a texto independiente, pero es posible que la lance en el futuro, compitiendo así con las API de voz a texto de empresas como Google, Microsoft y Amazon, así como con Compiten las API Whisper, AssemblyAI, Deepgram, Speechmatics y Gladia de OpenAI.
La compañía planea recaudar una nueva ronda de financiación con una valoración de más de 3 mil millones de dólares y está compitiendo con otras nuevas empresas de inteligencia artificial de voz como Vapi y Retell, que también están creando agentes conversacionales. Es más, ElevenLabs competirá con la API de conversación en tiempo real de OpenAI. Sin embargo, ElevenLabs cree que su capacidad de personalización y la flexibilidad para cambiar de modelo le darán una ventaja sobre la competencia.
Destacar:
ElevenLabs ha lanzado una nueva función para crear agentes de IA conversacionales que permite a los usuarios personalizar múltiples variables.
Los usuarios pueden agregar bases de conocimiento para mejorar las capacidades de los agentes e integrar con ellas modelos de lenguaje grandes personalizados.
ElevenLabs planea recaudar financiación con una valoración de más de 3.000 millones de dólares y competir con rivales como OpenAI.
Con todo, las nuevas capacidades de ElevenLabs brindan una flexibilidad y conveniencia sin precedentes para crear agentes de IA conversacionales personalizados, lo que lo impulsará a una posición más favorable en el altamente competitivo mercado de la IA. En el futuro, el desarrollo de ElevenLabs merece una atención continua.