AudioGPT

AudioGPT : Memahami dan Menghasilkan Ucapan, Musik, Suara, dan Talking Head

Kami menyediakan implementasi dan model terlatih kami sebagai sumber terbuka di repositori ini.

Memulai

Silakan merujuk ke run.md

Kemampuan

Berikut kami cantumkan kemampuan AudioGPT saat ini. Model dan tugas yang lebih didukung akan segera hadir. Untuk contoh cepat, lihat aset.

Saat ini tidak semua model memiliki repositori.

Pidato

Tugas	Model Fondasi yang Didukung	Status
Teks-ke-Ucapan	FastSpeech, SyntaSpeech, VITS	Ya (WIP)
Perpindahan Gaya	Pidato Umum	Ya
Pengenalan Ucapan	berbisik, Konformer	Ya
Peningkatan Bicara	KonvTasNet	Ya (WIP)
Pemisahan Pidato	TF-GridNet	Ya (WIP)
Terjemahan Pidato	Multi-dekoder	WIP
Mono-ke-Binaural	NeuralWarp	Ya

Menyanyi

Tugas	Model Fondasi yang Didukung	Status
Teks untuk Dinyanyikan	DiffSinger, VISinger	Ya (WIP)

Audio

Tugas	Model Fondasi yang Didukung	Status
Teks-ke-Audio	Buat-An-Audio	Ya
Lukisan Audio	Buat-An-Audio	Ya
Gambar-ke-Audio	Buat-An-Audio	Ya
Deteksi Suara	Transformator audio	Ya
Deteksi Suara Sasaran	TSDNet	Ya
Ekstraksi Suara	LASSNet	Ya

Kepala Berbicara

Tugas	Model Fondasi yang Didukung	Status
Sintesis Kepala Berbicara	GeneFace	Ya (WIP)

Pengakuan

Kami menghargai open source dari proyek-proyek berikut:

ESPNet NATSpeech Visual ChatGPT Memeluk Wajah Difusi Stabil LangChain