AudioGPT

AudioGPT: Sprache, Musik, Ton und sprechenden Kopf verstehen und erzeugen

Wir stellen unsere Implementierung und vorab trainierten Modelle als Open Source in diesem Repository zur Verfügung.

Legen Sie los

Bitte beachten Sie run.md

Fähigkeiten

Hier listen wir die aktuelle Leistungsfähigkeit von AudioGPT auf. Weitere unterstützte Modelle und Aufgaben folgen in Kürze. Beispiele für Eingabeaufforderungen finden Sie im Asset.

Derzeit verfügt nicht jedes Modell über ein Repository.

Rede

Aufgabe	Unterstützte Foundation-Modelle	Status
Text-to-Speech	FastSpeech, SyntaSpeech, VITS	Ja (WIP)
Stilübertragung	GenerSpeech	Ja
Spracherkennung	Flüstern, Konformer	Ja
Sprachverbesserung	ConvTasNet	Ja (WIP)
Sprachtrennung	TF-GridNet	Ja (WIP)
Sprachübersetzung	Multi-Decoder	In Bearbeitung
Mono-zu-binaural	NeuralWarp	Ja

Singen

Aufgabe	Unterstützte Foundation-Modelle	Status
Text-to-Sing	DiffSinger, VISinger	Ja (WIP)

Audio

Aufgabe	Unterstützte Foundation-Modelle	Status
Text-to-Audio	Make-An-Audio	Ja
Audio-Inpainting	Make-An-Audio	Ja
Bild-zu-Audio	Make-An-Audio	Ja
Geräuscherkennung	Audio-Transformator	Ja
Zielgeräuscherkennung	TSDNet	Ja
Tonextraktion	LASSNet	Ja

Sprechender Kopf

Aufgabe	Unterstützte Foundation-Modelle	Status
Talking-Head-Synthese	GeneFace	Ja (WIP)

Anerkennung

Wir schätzen die Open Source der folgenden Projekte:

ESPNet NATSpeech Visual ChatGPT Hugging Face LangChain Stabile Diffusion