Real Time Voice Cloning

Kloning Suara Waktu Nyata

Repositori ini merupakan implementasi Transfer Learning dari Speaker Verification to Multispeaker Text-To-Speech Synthesis (SV2TTS) dengan vocoder yang bekerja secara real-time. Ini adalah tesis master saya.

SV2TTS adalah kerangka pembelajaran mendalam dalam tiga tahap. Pada tahap pertama, seseorang membuat representasi digital dari suara dari audio beberapa detik. Pada tahap kedua dan ketiga, representasi ini digunakan sebagai acuan untuk menghasilkan tuturan yang diberikan teks arbitrer.

Video demonstrasi (klik gambar):

Makalah diimplementasikan

URL	Penamaan	Judul	Sumber implementasi
1806.04558	SV2TTS	Mentransfer Pembelajaran dari Verifikasi Speaker ke Sintesis Text-To-Speech Multispeaker	Repo ini
1802.08435	WaveRNN (vocoder)	Sintesis Audio Neural yang Efisien	fatchord/WaveRNN
1703.10135	Tacotron (penyintesis)	Tacotron: Menuju Sintesis Ucapan Ujung-ke-Ujung	fatchord/WaveRNN
1710.10467	GE2E (pengkode)	Kerugian End-To-End yang Umum untuk Verifikasi Pembicara	Repo ini

Perhatian

Seperti semua hal lainnya di Deep Learning, repo ini dengan cepat menjadi tua. Banyak aplikasi SaaS (seringkali berbayar) akan memberi Anda kualitas audio yang lebih baik daripada repositori ini. Jika Anda menginginkan solusi sumber terbuka dengan kualitas suara tinggi:

• Lihat paperswithcode untuk repositori lain dan penelitian terbaru di bidang sintesis ucapan.
• Lihat CoquiTTS untuk repositori dengan kualitas kloning suara yang lebih baik dan lebih banyak fungsi.
• Lihat MetaVoice-1B untuk model suara besar dengan kualitas suara tinggi

Pengaturan

1. Instal Persyaratan

1. Baik Windows dan Linux didukung. GPU direkomendasikan untuk pelatihan dan kecepatan inferensi, namun tidak wajib.
2. Python 3.7 direkomendasikan. Python 3.5 atau lebih tinggi seharusnya bisa digunakan, tetapi Anda mungkin harus mengubah versi dependensinya. Saya sarankan menyiapkan lingkungan virtual menggunakan venv , tetapi ini opsional.
3. Instal ffmpeg. Ini diperlukan untuk membaca file audio.
4. Instal PyTorch. Pilih versi stabil terbaru, sistem operasi Anda, manajer paket Anda (pip secara default) dan terakhir pilih versi CUDA yang diusulkan jika Anda memiliki GPU, jika tidak pilih CPU. Jalankan perintah yang diberikan.
5. Instal persyaratan yang tersisa dengan pip install -r requirements.txt

2. (Opsional) Unduh Model Terlatih

Model yang telah dilatih sebelumnya kini diunduh secara otomatis. Jika ini tidak berhasil, Anda dapat mengunduhnya secara manual di sini.

3. (Opsional) Konfigurasi Uji

Sebelum mendownload kumpulan data apa pun, Anda dapat memulai dengan menguji konfigurasi Anda dengan:

python demo_cli.py

Jika semua tes lulus, Anda siap berangkat.

4. (Opsional) Unduh Kumpulan Data

Untuk bermain dengan toolbox saja, saya hanya menyarankan mengunduh LibriSpeech/train-clean-100 . Ekstrak konten sebagai /LibriSpeech/train-clean-100 dengan adalah direktori pilihan Anda. Kumpulan data lain didukung di kotak alat, lihat di sini. Anda bebas untuk tidak mengunduh kumpulan data apa pun, tetapi Anda memerlukan data Anda sendiri sebagai file audio atau Anda harus merekamnya dengan kotak peralatan.

5. Luncurkan Kotak Alat

Anda kemudian dapat mencoba kotak peralatan:

python demo_toolbox.py -d
atau
python demo_toolbox.py

tergantung pada apakah Anda mengunduh kumpulan data apa pun. Jika Anda menjalankan server X atau jika Anda mengalami kesalahan Aborted (core dumped) , lihat masalah ini.