data_driven_ai_voice_cloning

Datengesteuertes KI-Stimmenklonen

Dieses Repository ist eine Implementierung des Hauptteils meiner Masterarbeit in Data Science & Engineering. Es ist in zwei Teile gegliedert:

1. Lautsprecher-Encoder

1. Modelle: ECAPA-TDNN, Wavlm-Serie
2. Daten: VoxCeleb1, privater Datensatz

2. Text-zu-Sprache

1. Modell: FastSpeech2 (Microsoft-Implementierung)
2. Daten: LibriTTS

Diese beiden Teile werden dann integriert, um ein Multi-Speaker-Text-to-Speech-Modell zu erhalten, das in der Lage ist, unsichtbare Stimmen ab etwa 5 Sekunden Audio zu klonen, das ZeroShotFastSpeech2-Modell.