Real Time Voice Cloning

Клонирование голоса в реальном времени

Этот репозиторий представляет собой реализацию трансферного обучения от проверки говорящего к синтезу речи нескольких говорящих (SV2TTS) с вокодером, который работает в режиме реального времени. Это была моя магистерская диссертация.

SV2TTS — это трехэтапная структура глубокого обучения. На первом этапе из нескольких секунд аудио создается цифровое представление голоса. На втором и третьем этапах это представление используется в качестве ссылки для генерации речи по произвольному тексту.

Видеодемонстрация (нажмите на картинку):

Документы реализованы

URL-адрес	Обозначение	Заголовок	Источник реализации
1806.04558	СВ2ТТС	Перенос обучения от проверки говорящего к синтезу речи с участием нескольких говорящих	Это репо
1802.08435	WaveRNN (вокодер)	Эффективный нейронный синтез звука	фаткорд/WaveRNN
1703.10135	Такотрон (синтезатор)	Tacotron: к сквозному синтезу речи	фаткорд/WaveRNN
1710.10467	GE2E (энкодер)	Обобщенные сквозные потери при проверке говорящего	Это репо

Берегись

Как и все остальное в глубоком обучении, это репозиторий быстро устарело. Многие приложения SaaS (часто платные) обеспечат лучшее качество звука, чем этот репозиторий. Если вам нужно решение с открытым исходным кодом и высоким качеством передачи голоса:

• Ознакомьтесь с документами с кодом из других репозиториев и недавними исследованиями в области синтеза речи.
• Посетите CoquiTTS, чтобы найти репозиторий с лучшим качеством голосового клонирования и большим количеством функций.
• Ознакомьтесь с MetaVoice-1B, чтобы получить большую модель голоса с высоким качеством голоса.

Настраивать

1. Требования к установке

1. Поддерживаются как Windows, так и Linux. Графический процессор рекомендуется для обучения и скорости вывода, но не является обязательным.
2. Рекомендуется Python 3.7. Python 3.5 или более поздней версии должен работать, но вам, вероятно, придется настроить версии зависимостей. Я рекомендую настроить виртуальную среду с помощью venv , но это необязательно.
3. Установите ffmpeg. Это необходимо для чтения аудиофайлов.
4. Установите ПиТорч. Выберите последнюю стабильную версию, свою операционную систему, менеджер пакетов (pip по умолчанию) и, наконец, выберите любую из предложенных версий CUDA, если у вас есть графический процессор, в противном случае выберите процессор. Запустите данную команду.
5. Установите оставшиеся требования с помощью pip install -r requirements.txt

2. (Необязательно) Загрузите предварительно обученные модели.

Предварительно обученные модели теперь загружаются автоматически. Если вам это не помогло, вы можете скачать их вручную здесь.

3. (Необязательно) Тестовая конфигурация

Прежде чем загружать какой-либо набор данных, вы можете начать с тестирования своей конфигурации с помощью:

python demo_cli.py

Если все тесты пройдены, можно идти.

4. (Необязательно) Загрузите наборы данных.

Для игры только с набором инструментов я рекомендую скачать только LibriSpeech/train-clean-100 . Извлеките содержимое как /LibriSpeech/train-clean-100 , где — каталог по вашему выбору. Другие наборы данных поддерживаются в наборе инструментов, см. здесь. Вы можете не загружать какой-либо набор данных, но тогда вам потребуются ваши собственные данные в виде аудиофайлов или вам придется записать их с помощью панели инструментов.

5. Запустите панель инструментов.

Затем вы можете попробовать набор инструментов:

python demo_toolbox.py -d
или
python demo_toolbox.py

в зависимости от того, загрузили ли вы какие-либо наборы данных. Если вы используете X-сервер или у вас возникла ошибка Aborted (core dumped) , см. эту проблему.