AudioGPT

AudioGPT: понимание и генерация речи, музыки, звука и говорящей головы

В этом репозитории мы предоставляем нашу реализацию и предварительно обученные модели с открытым исходным кодом.

Начать

Пожалуйста, обратитесь к run.md

Возможности

Здесь мы перечисляем возможности AudioGPT на данный момент. В ближайшее время появятся новые поддерживаемые модели и задачи. Примеры можно найти в файле assets.

В настоящее время не каждая модель имеет репозиторий.

Речь

Задача	Поддерживаемые модели фундаментов	Статус
Преобразование текста в речь	FastSpeech, SyntaSpeech, ВИТС	Да (НЗП)
Передача стиля	GenerSpeech	Да
Распознавание речи	шепот, Конформер	Да
Улучшение речи	КонвТасНет	Да (НЗП)
Разделение речи	TF-GridNet	Да (НЗП)
Перевод речи	Мультидекодер	НЗП
Моно-бинауральный	NeuralWarp	Да

Петь

Задача	Поддерживаемые модели фундаментов	Статус
Текст для пения	ДиффСингер, ВИСингер	Да (НЗП)

Аудио

Задача	Поддерживаемые модели фундаментов	Статус
Преобразование текста в аудио	Сделать аудио	Да
Аудио рисование	Сделать аудио	Да
Преобразование изображения в аудио	Сделать аудио	Да
Обнаружение звука	Аудио-трансформер	Да
Обнаружение звука цели	ЦДНет	Да
Извлечение звука	ЛАССНет	Да

Говорящая голова

Задача	Поддерживаемые модели фундаментов	Статус
Синтез говорящей головы	GeneFace	Да (НЗП)

Благодарность

Мы ценим открытый исходный код следующих проектов:

ESPNet NATSpeech Визуальный чатGPT Hugging Face LangChain Stable Diffusion