ElevenLabs,一家专注于AI语音克隆和文本转语音API的初创公司,近期推出了一个令人瞩目的新功能:用户可以自主构建完整的对话式AI智能体。这一更新标志着ElevenLabs从单纯的语音技术提供商向更全面的AI解决方案提供商的转型,为开发者提供了前所未有的定制化空间,也预示着其在AI对话领域展开更激烈的竞争。Downcodes小编将带您深入了解这一新功能的强大之处。
用户现在可以在 ElevenLabs 的开发者平台上,依据自己的需求,定制对话智能体的多种变量,比如语音语调和回复长度。
ElevenLabs 过去主要提供不同的语音和文本转语音服务。公司增长主管 Sam Sklar 在接受 TechCrunch 采访时表示,许多客户早已在使用该平台创建对话式AI智能体。但在集成知识库和处理客户中断方面是最大的挑战。因此,ElevenLabs 决定构建一个完整的对话机器人管道,以便简化这一过程。
用户可以通过登录 ElevenLabs 账号,选择模板或创建新项目来开始构建对话智能体。他们可以选择智能体的主要语言、首条消息和系统提示,以确定智能体的个性。
此外,开发者还需选择大型语言模型(如 Gemini、GPT 或 Claude)、响应的温度(决定创意性)以及令牌使用限制。
用户还可以根据自己的需求添加知识库,如文件、URL 或文本块,以增强对话机器人的能力。同时,他们可以将自己的自定义大型语言模型与该机器人集成。ElevenLabs 的 SDK 兼容 Python、JavaScript、React 和 Swift,此外,该公司还提供 WebSocket API,便于进一步定制。
公司还允许用户定义数据收集标准,例如与智能体对话的客户姓名和电子邮件,并使用自然语言定义通话的成功与否评估标准。
ElevenLabs 正在利用其现有的文本转语音管道,同时也在为新对话式人工智能产品开发语音转文本功能。目前,该公司并未单独提供语音转文本 API,但未来可能会推出,从而与谷歌、微软和亚马逊等公司的语音转文本 API 竞争,以及与 OpenAI 的 Whisper、AssemblyAI、Deepgram、Speechmatics 和 Gladia 等专业 API 展开竞争。
该公司计划以超过30亿美元的估值筹集新一轮资金,且正与其他语音 AI 初创企业如 Vapi 和 Retell 展开竞争,这些公司同样在构建对话智能体。更重要的是,ElevenLabs 将与 OpenAI 的实时对话 API 竞争。不过,ElevenLabs 相信其定制化能力和切换模型的灵活性,将使其在竞争中占据优势。
ElevenLabs 的这一新功能不仅增强了其在AI语音领域的竞争力,也为开发者提供了构建更强大、更个性化对话AI智能体的便捷工具。未来,随着语音转文本功能的推出以及更多定制化选项的加入,ElevenLabs 有望在AI对话领域占据一席之地。 Downcodes小编将持续关注其发展。