Real Time Voice Cloning

Clonage vocal en temps réel

Ce référentiel est une implémentation de Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis (SV2TTS) avec un vocodeur qui fonctionne en temps réel. C'était mon mémoire de maîtrise.

SV2TTS est un framework d'apprentissage profond en trois étapes. Dans un premier temps, on crée une représentation numérique d'une voix à partir de quelques secondes d'audio. Dans les deuxième et troisième étapes, cette représentation est utilisée comme référence pour générer de la parole à partir d'un texte arbitraire.

Démonstration vidéo (cliquez sur l'image) :

Documents mis en œuvre

URL	Désignation	Titre	Source de mise en œuvre
1806.04558	SV2TTS	Transférer l'apprentissage de la vérification du locuteur à la synthèse de synthèse vocale multi-locuteurs	Ce dépôt
1802.08435	WaveRNN (vocodeur)	Synthèse audio neuronale efficace	fatchord/WaveRNN
1703.10135	Tacotron (synthétiseur)	Tacotron : vers une synthèse vocale de bout en bout	fatchord/WaveRNN
1710.10467	GE2E (encodeur)	Perte généralisée de bout en bout pour la vérification du locuteur	Ce dépôt

Attention

Comme tout le reste dans Deep Learning, ce dépôt a rapidement vieilli. De nombreuses applications SaaS (souvent payantes) vous offriront une meilleure qualité audio que ce référentiel. Si vous souhaitez une solution open source avec une haute qualité vocale :

• Consultez paperswithcode pour d'autres référentiels et recherches récentes dans le domaine de la synthèse vocale.
• Découvrez CoquiTTS pour un référentiel avec une meilleure qualité de clonage vocal et plus de fonctionnalités.
• Découvrez MetaVoice-1B pour un grand modèle vocal avec une qualité vocale élevée

Installation

1. Exigences d'installation

1. Windows et Linux sont pris en charge. Un GPU est recommandé pour l’entraînement et pour la vitesse d’inférence, mais n’est pas obligatoire.
2. Python 3.7 est recommandé. Python 3.5 ou supérieur devrait fonctionner, mais vous devrez probablement modifier les versions des dépendances. Je recommande de configurer un environnement virtuel à l'aide de venv , mais cela est facultatif.
3. Installez ffmpeg. Ceci est nécessaire pour lire les fichiers audio.
4. Installez PyTorch. Choisissez la dernière version stable, votre système d'exploitation, votre gestionnaire de paquets (pip par défaut) et enfin choisissez l'une des versions CUDA proposées si vous disposez d'un GPU, sinon choisissez CPU. Exécutez la commande donnée.
5. Installez les exigences restantes avec pip install -r requirements.txt

2. (Facultatif) Téléchargez des modèles pré-entraînés

Les modèles pré-entraînés sont désormais téléchargés automatiquement. Si cela ne fonctionne pas pour vous, vous pouvez les télécharger manuellement ici.

3. (Facultatif) Configuration des tests

Avant de télécharger un ensemble de données, vous pouvez commencer par tester votre configuration avec :

python demo_cli.py

Si tous les tests réussissent, vous êtes prêt à partir.

4. (Facultatif) Télécharger les ensembles de données

Pour jouer avec la boîte à outils seule, je recommande uniquement de télécharger LibriSpeech/train-clean-100 . Extrayez le contenu sous la forme /LibriSpeech/train-clean-100 où est un répertoire de votre choix. D'autres ensembles de données sont pris en charge dans la boîte à outils, voir ici. Vous êtes libre de ne télécharger aucun ensemble de données, mais vous aurez alors besoin de vos propres données sous forme de fichiers audio ou vous devrez les enregistrer avec la boîte à outils.

5. Lancez la boîte à outils

Vous pouvez alors essayer la boîte à outils :

python demo_toolbox.py -d
ou
python demo_toolbox.py

selon que vous avez téléchargé ou non des ensembles de données. Si vous exécutez un serveur X ou si vous avez l'erreur Aborted (core dumped) , consultez ce problème.