Real Time Voice Cloning

Klonen von Stimmen in Echtzeit

Dieses Repository ist eine Implementierung von Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis (SV2TTS) mit einem Vocoder, der in Echtzeit arbeitet. Das war meine Masterarbeit.

SV2TTS ist ein Deep-Learning-Framework in drei Stufen. Im ersten Schritt erstellt man aus wenigen Sekunden Audio eine digitale Darstellung einer Stimme. In der zweiten und dritten Stufe wird diese Darstellung als Referenz verwendet, um Sprache für einen beliebigen Text zu generieren.

Videodemonstration (klicken Sie auf das Bild):

Papiere umgesetzt

URL	Bezeichnung	Titel	Implementierungsquelle
1806.04558	SV2TTS	Übertragen Sie das Lernen von der Sprecherverifizierung auf die Text-zu-Sprache-Synthese für mehrere Sprecher	Dieses Repo
1802.08435	WaveRNN (Vocoder)	Effiziente neuronale Audiosynthese	fatchord/WaveRNN
1703.10135	Tacotron (Synthesizer)	Tacotron: Auf dem Weg zur End-to-End-Sprachsynthese	fatchord/WaveRNN
1710.10467	GE2E (Encoder)	Generalisierter End-to-End-Verlust zur Sprecherverifizierung	Dieses Repo

Kopf hoch

Wie alles andere im Deep Learning ist auch dieses Repo schnell veraltet. Viele SaaS-Apps (oft kostenpflichtig) bieten Ihnen eine bessere Audioqualität als dieses Repository. Wenn Sie eine Open-Source-Lösung mit hoher Sprachqualität wünschen:

• Weitere Repositories und aktuelle Forschungsergebnisse im Bereich der Sprachsynthese finden Sie in paperswithcode.
• Schauen Sie sich CoquiTTS an, um ein Repository mit einer besseren Sprachklonungsqualität und mehr Funktionalitäten zu erhalten.
• Schauen Sie sich MetaVoice-1B an, um ein großes Sprachmodell mit hoher Sprachqualität zu erhalten

Aufstellen

1. Installieren Sie die Anforderungen

1. Sowohl Windows als auch Linux werden unterstützt. Für das Training und die Inferenzgeschwindigkeit wird eine GPU empfohlen, ist jedoch nicht zwingend erforderlich.
2. Python 3.7 wird empfohlen. Python 3.5 oder höher sollte funktionieren, aber Sie müssen wahrscheinlich die Versionen der Abhängigkeiten anpassen. Ich empfehle die Einrichtung einer virtuellen Umgebung mit venv , dies ist jedoch optional.
3. Installieren Sie ffmpeg. Dies ist zum Lesen von Audiodateien erforderlich.
4. Installieren Sie PyTorch. Wählen Sie die neueste stabile Version, Ihr Betriebssystem, Ihren Paketmanager (standardmäßig Pip) und schließlich eine der vorgeschlagenen CUDA-Versionen aus, wenn Sie über eine GPU verfügen, andernfalls wählen Sie CPU. Führen Sie den angegebenen Befehl aus.
5. Installieren Sie die restlichen Anforderungen mit pip install -r requirements.txt

2. (Optional) Laden Sie vorab trainierte Modelle herunter

Vorab trainierte Modelle werden jetzt automatisch heruntergeladen. Wenn dies bei Ihnen nicht funktioniert, können Sie sie hier manuell herunterladen.

3. (Optional) Testkonfiguration

Bevor Sie einen Datensatz herunterladen, können Sie zunächst Ihre Konfiguration testen mit:

python demo_cli.py

Wenn alle Tests bestanden sind, kann es losgehen.

4. (Optional) Datensätze herunterladen

Allein zum Spielen mit der Toolbox empfehle ich nur den Download LibriSpeech/train-clean-100 . Extrahieren Sie den Inhalt als /LibriSpeech/train-clean-100 wobei ein Verzeichnis Ihrer Wahl ist. Weitere Datensätze werden in der Toolbox unterstützt, siehe hier. Es steht Ihnen frei, keinen Datensatz herunterzuladen, aber dann benötigen Sie Ihre eigenen Daten als Audiodateien oder müssen diese mit der Toolbox aufzeichnen.

5. Starten Sie die Toolbox

Dann können Sie die Toolbox ausprobieren:

python demo_toolbox.py -d
oder
python demo_toolbox.py

abhängig davon, ob Sie Datensätze heruntergeladen haben. Wenn Sie einen X-Server betreiben oder der Fehler Aborted (core dumped) auftritt, sehen Sie sich dieses Problem an.