Real Time Voice Cloning

Clonación de voz en tiempo real

Este repositorio es una implementación de Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis (SV2TTS) con un vocoder que funciona en tiempo real. Esta fue mi tesis de maestría.

SV2TTS es un marco de aprendizaje profundo en tres etapas. En la primera etapa, se crea una representación digital de una voz a partir de unos segundos de audio. En la segunda y tercera etapa, esta representación se utiliza como referencia para generar voz a partir de un texto arbitrario.

Vídeo de demostración (haga clic en la imagen):

Papeles implementados

URL	Designación	Título	Fuente de implementación
1806.04558	SV2TTS	Transferir el aprendizaje de la verificación del hablante a la síntesis de texto a voz de varios hablantes	este repositorio
1802.08435	WaveRNN (vocodificador)	Síntesis de audio neuronal eficiente	acorde de grasa/WaveRNN
1703.10135	Tacotrón (sintetizador)	Tacotron: hacia la síntesis del habla de un extremo a otro	acorde de grasa/WaveRNN
1710.10467	GE2E (codificador)	Pérdida generalizada de extremo a extremo para la verificación del hablante	este repositorio

Aviso

Como todo lo demás en Deep Learning, este repositorio rápidamente se volvió obsoleto. Muchas aplicaciones SaaS (a menudo de pago) le brindarán una mejor calidad de audio que este repositorio. Si desea una solución de código abierto con alta calidad de voz:

• Consulte artículos con código para conocer otros repositorios e investigaciones recientes en el campo de la síntesis de voz.
• Consulte CoquiTTS para obtener un repositorio con mejor calidad de clonación de voz y más funcionalidades.
• Consulte MetaVoice-1B para obtener un modelo de voz grande con alta calidad de voz.

Configuración

1. Requisitos de instalación

1. Tanto Windows como Linux son compatibles. Se recomienda una GPU para entrenamiento y velocidad de inferencia, pero no es obligatoria.
2. Se recomienda Python 3.7. Python 3.5 o superior debería funcionar, pero probablemente tendrás que modificar las versiones de las dependencias. Recomiendo configurar un entorno virtual usando venv , pero esto es opcional.
3. Instale ffmpeg. Esto es necesario para leer archivos de audio.
4. Instale PyTorch. Elija la última versión estable, su sistema operativo, su administrador de paquetes (pip por defecto) y finalmente elija cualquiera de las versiones CUDA propuestas si tiene una GPU; de lo contrario, elija CPU. Ejecute el comando dado.
5. Instale los requisitos restantes con pip install -r requirements.txt

2. (Opcional) Descargue modelos previamente entrenados

Los modelos previamente entrenados ahora se descargan automáticamente. Si esto no funciona para usted, puede descargarlos manualmente aquí.

3. (Opcional) Configuración de prueba

Antes de descargar cualquier conjunto de datos, puede comenzar probando su configuración con:

python demo_cli.py

Si todas las pruebas pasan, estás listo para comenzar.

4. (Opcional) Descargar conjuntos de datos

Para jugar solo con la caja de herramientas, solo recomiendo descargar LibriSpeech/train-clean-100 . Extraiga el contenido como /LibriSpeech/train-clean-100 donde es un directorio de su elección. Otros conjuntos de datos son compatibles con la caja de herramientas, consulte aquí. Eres libre de no descargar ningún conjunto de datos, pero necesitarás tus propios datos como archivos de audio o tendrás que grabarlos con la caja de herramientas.

5. Inicie la Caja de herramientas

Luego puedes probar la caja de herramientas:

python demo_toolbox.py -d
o
python demo_toolbox.py

dependiendo de si descargó algún conjunto de datos. Si está ejecutando un servidor X o si recibe el error Aborted (core dumped) , consulte este problema.