AudioGPT

AudioGPT: comprensión y generación de voz, música, sonido y cabeza parlante

Proporcionamos nuestra implementación y modelos previamente entrenados como código abierto en este repositorio.

Empezar

Consulte run.md

Capacidades

Aquí enumeramos la capacidad de AudioGPT en este momento. Próximamente habrá más modelos y tareas compatibles. Para ver ejemplos rápidos, consulte activo.

Actualmente no todos los modelos tienen repositorio.

Discurso

Tarea	Modelos de cimentación compatibles	Estado
Texto a voz	FastSpeech, SyntaSpeech, VITS	Sí (WIP)
Transferencia de estilo	GéneroDiscurso	Sí
Reconocimiento de voz	susurro, conformador	Sí
Mejora del habla	ConvTasNet	Sí (WIP)
Separación de voz	TF-GridNet	Sí (WIP)
Traducción de voz	Multidecodificador	WIP
Mono a binaural	Deformación neuronal	Sí

Cantar

Tarea	Modelos de cimentación admitidos	Estado
Texto para cantar	DiffSinger, VISinger	Sí (WIP)

Audio

Tarea	Modelos de cimentación compatibles	Estado
Texto a audio	Hacer un audio	Sí
Pintura de audio	Hacer un audio	Sí
Imagen a audio	Hacer un audio	Sí
Detección de sonido	Transformador de audio	Sí
Detección de sonido objetivo	TSDNet	Sí
Extracción de sonido	LASSNet	Sí

cabeza parlante

Tarea	Modelos de cimentación admitidos	Estado
Síntesis de cabeza parlante	cara genética	Sí (WIP)

Reconocimiento

Apreciamos el código abierto de los siguientes proyectos:

ESPNet NATSpeech Visual ChatGPT Abrazando la cara LangChain Difusión estable