AudioGPT

AudioGPT: Compreendendo e gerando fala, música, som e Talking Head

Fornecemos nossa implementação e modelos pré-treinados como código aberto neste repositório.

Comece

Consulte run.md

Capacidades

Aqui listamos a capacidade do AudioGPT no momento. Mais modelos e tarefas com suporte estarão disponíveis em breve. Para exemplos imediatos, consulte ativo.

Atualmente nem todo modelo possui repositório.

Discurso

Tarefa	Modelos de base suportados	Status
Texto para fala	FastSpeech, SyntaSpeech, VITS	Sim (WIP)
Transferência de estilo	GenerSpeech	Sim
Reconhecimento de fala	sussurrar, conformador	Sim
Aprimoramento de fala	ConvTasNet	Sim (WIP)
Separação de fala	TF-GridNet	Sim (WIP)
Tradução de fala	Multi-decodificador	WIP
Mono para Binaural	NeuralWarp	Sim

Cantar

Tarefa	Modelos de base suportados	Status
Texto para cantar	DiffSinger, VISinger	Sim (WIP)

Áudio

Tarefa	Modelos de base suportados	Status
Texto para áudio	Faça um áudio	Sim
Pintura de áudio	Faça um áudio	Sim
Imagem para Áudio	Faça um áudio	Sim
Detecção de Som	Transformador de áudio	Sim
Detecção de Som Alvo	TSDNet	Sim
Extração de Som	LASSNet	Sim

Cabeça Falante

Tarefa	Modelos de base suportados	Status
Síntese da Cabeça Falante	Gene Face	Sim (WIP)

Reconhecimento

Agradecemos o código aberto dos seguintes projetos:

ESPNet NATSpeech Visual ChatGPT abraçando rosto LangChain difusão estável