Oute AI 推出了名为 OuteTTS-0.1-350M 的新型文本转语音合成方法,这是一款基于LLaMa架构的简化TTS模型。它无需外部适配器,直接利用WavTokenizer生成音频标记,并具备零样本语音克隆功能,只需几秒钟的参考音频即可复制新的声音。该模型参数规模相对较小,但却能达到与更大更复杂系统相媲美的性能,并且与llama.cpp兼容,非常适合实时应用。其高效性和易用性使其在个性化助理、有声读物和内容本地化等领域具有广泛的应用前景。
近日,Oute AI 发布了一种新颖的文本转语音合成方法,称为 OuteTTS-0.1-350M。这种方法利用纯语言建模,无需外部适配器或复杂架构,提供了一种简化的 TTS 方法。OuteTTS-0.1-350M 基于 LLaMa 架构,使用 WavTokenizer 直接生成音频标记,使得流程更加高效。
该模型具有零样本语音克隆功能,仅需几秒钟的参考音频即可复制新的声音。OuteTTS-0.1-350M 专为设备性能而设计,并与 llama.cpp 兼容,使其成为实时应用的理想选择。尽管该模型的参数规模相对较小(3.5亿个),但其性能可与更大、更复杂的 TTS 系统相媲美。
OuteTTS-0.1-350M 的可访问性和效率使其适用于广泛的应用,包括个性化助理、有声读物和内容本地化。Oute AI 在 CC-BY 许可下发布,鼓励进一步实验和集成到不同的项目中,使先进的 TTS 技术民主化。
OuteTTS-0.1-350M 的发布标志着文本转语音技术向前迈出了关键一步,它利用简化的架构以最少的计算要求提供高质量的语音合成。它集成了 LLaMa 架构,使用了 WavTokenizer,并且能够执行零样本语音克隆而无需复杂的适配器,这使它有别于传统的 TTS 模型。
地址:https://www.outeai.com/blog/OuteTTS-0.1-350M
OuteTTS-0.1-350M 的高效、简化的架构以及零样本语音克隆功能,为文本转语音技术带来了新的可能性,也为开发者提供了更多便捷易用的工具。 其开源的特性更是推动了该领域的技术发展和应用普及。