data_driven_ai_voice_cloning

Клонирование голоса с помощью искусственного интеллекта на основе данных

Этот репозиторий представляет собой реализацию основной части моей магистерской диссертации в области науки о данных и инженерии. Он разделен на две части:

1. Кодер динамика

1. модели: ECAPA-TDNN, серия wavlm
2. данные: VoxCeleb1, частный набор данных

2. Преобразование текста в речь

1. модель: FastSpeech2 (реализация Microsoft)
2. данные: ЛибриТТС

Эти две части затем объединяются для создания модели преобразования текста в речь с несколькими динамиками, которая способна клонировать невидимые голоса, начиная примерно с 5 секунд звука, модели ZeroShotFastSpeech2.