WebUI Konversi Suara berbasis pengambilan

WebUI-Konversi-Suara-berbasis pengambilan

Kerangka kerja pengubah suara yang sederhana dan mudah digunakan berdasarkan VITS

Perbarui log |. FAQ |. AutoDL ·5 sen untuk melatih penyanyi AI |

Bahasa Inggris |中文简体|日本语|. 한국어 ( Korea ) | . Perancis |

Model dasar dilatih menggunakan hampir 50 jam set pelatihan VCTK open source berkualitas tinggi. Tidak ada masalah hak cipta.

Harap nantikan model terbawah RVCv3, yang memiliki parameter lebih besar, data lebih besar, hasil lebih baik, kecepatan inferensi pada dasarnya sama, dan memerlukan lebih sedikit data pelatihan.

Antarmuka inferensi pelatihan	Antarmuka perubahan suara waktu nyata
go-web.bat	buka-waktu-nyata-gui.bat
Anda bebas memilih apa yang ingin Anda lakukan.	Kami telah mencapai latensi end-to-end sebesar 170ms. Jika Anda menggunakan perangkat input dan output ASIO, Anda dapat mencapai latensi end-to-end 90ms, namun hal ini sangat bergantung pada dukungan driver perangkat keras.

Perkenalan

Gudang ini mempunyai ciri-ciri sebagai berikut

• Gunakan pencarian top1 untuk mengganti fitur sumber input dengan fitur set pelatihan untuk mencegah kebocoran timbre

• Pelatihan cepat bahkan pada kartu grafis yang relatif buruk

• Menggunakan sejumlah kecil data untuk pelatihan juga dapat memberikan hasil yang lebih baik (disarankan untuk mengumpulkan setidaknya 10 menit data ucapan dengan kebisingan rendah)

• Timbre dapat diubah melalui fusi model (dengan bantuan ckpt-merge di tab pemrosesan ckpt)

• Antarmuka web yang sederhana dan mudah digunakan

• Model UVR5 dapat digunakan untuk memisahkan vokal dan pengiring dengan cepat

• Gunakan algoritma ekstraksi nada suara manusia tercanggih InterSpeech2023-RMVPE untuk menghilangkan masalah suara senyap. Berfungsi paling baik (secara signifikan) tetapi lebih cepat dan lebih kecil dari crepe_full

• Dukungan akselerasi kartu I kartu

Klik di sini untuk melihat video demo kami!

Konfigurasi lingkungan

Instruksi berikut perlu dijalankan di lingkungan dengan versi Python lebih besar dari 3.8.

Metode umum untuk Windows/Linux/MacOS dan platform lainnya

Pilih salah satu metode berikut.

1. Instal dependensi melalui pip

1. Instal Pytorch dan dependensi intinya, lewati jika sudah diinstal. Referensi dari: https://pytorch.org/get-started/locally/

 pip instal obor torchvision torchaudio

2. Jika ini adalah sistem win + arsitektur Nvidia Ampere (RTX30xx), menurut pengalaman #21, Anda perlu menentukan versi cuda yang sesuai dengan pytorch

 pip instal torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

3. Instal dependensi yang sesuai sesuai dengan kartu grafis Anda

• kartu N

 instalasi pip -r persyaratan.txt

• Kartu/kartu I

 instalasi pip -r persyaratan-dml.txt

• Kartu ROCM (Linux)

 instalasi pip -r persyaratan-amd.txt

• I-kartuIPEX(Linux)

 instalasi pip -r persyaratan-ipex.txt

2. Membangun ketergantungan melalui puisi

Instal alat manajemen ketergantungan Puisi, lewati jika sudah diinstal. Referensi dari: https://python-poetry.org/docs/#installation

 curl -sSL https://install.python-poetry.org |.

Saat memasang dependensi melalui Puisi, python disarankan untuk menggunakan versi 3.7-3.10. Versi lain akan konflik saat menginstal llvmlite==0.39.0

 puisi init -n
puisi env gunakan "jalur ke python.exe Anda" puisi jalankan pip install -r persyaratan.txt

macOS

Dependensi dapat diinstal melalui run.sh

 sh ./run.sh

Persiapan pra-model lainnya

RVC memerlukan beberapa pra-model lain untuk inferensi dan pelatihan.

Anda dapat mengunduh model-model ini dari ruang Hugging Face kami.

1. Unduh aset

Di bawah ini adalah daftar nama semua pra-model dan file lain yang diperlukan untuk RVC. Anda dapat menemukan skrip untuk mendownloadnya di folder tools .

• ./assets/hubert/hubert_base.pt

• ./assets/dilatih sebelumnya

• ./assets/uvr5_weights

Jika Anda ingin menggunakan model versi v2, Anda perlu mendownloadnya tambahan.

• ./assets/pretrained_v2

2. Instal ffmpeg

Jika ffmpeg dan ffprobe sudah terinstal, lewati saja.

Pengguna Ubuntu/Debian

 sudo tepat instal ffmpeg

pengguna MacOS

 buatan instal ffmpeg

pengguna Windows

Setelah diunduh, letakkan di direktori root.

• Unduh ffmpeg.exe

• Unduh ffprobe.exe

3. Unduh file yang diperlukan untuk algoritma ekstraksi nada vokal rmvpe

Jika Anda ingin menggunakan algoritma ekstraksi nada vokal RMVPE terbaru, Anda perlu mengunduh parameter model ekstraksi nada dan menempatkannya di direktori root RVC.

• unduhrmvpe.pt

Unduh lingkungan dml rmvpe (opsional, pengguna kartu A/kartu I)

• Unduhrmvpe.onnx

4. Kartu grafis AMD Rocm (opsional, khusus Linux)

Jika Anda ingin menjalankan RVC pada sistem Linux berbasis teknologi Rocm AMD, harap instal driver yang diperlukan di sini terlebih dahulu.

Jika Anda menggunakan Arch Linux, Anda dapat menggunakan pacman untuk menginstal driver yang diperlukan:

pacman -S rocm-hip-sdk rocm-opencl-sdk

Untuk beberapa model kartu grafis, Anda mungkin perlu mengonfigurasi variabel lingkungan berikut (misalnya: RX6700XT):

export ROCM_PATH=/opt/rocm
export HSA_OVERRIDE_GFX_VERSION=10.3.0

Pastikan juga pengguna Anda saat ini berada dalam grup pengguna render dan video :

sudo usermod -aG render $USERNAME
sudo usermod -aG video $USERNAME

Mulailah

mulai langsung

Gunakan perintah berikut untuk memulai WebUI

 python menyimpulkan-web.py

Jika sebelumnya Anda menggunakan Puisi untuk menginstal dependensi, Anda dapat memulai WebUI dengan cara berikut

 puisi dijalankan python infer-web.py

Gunakan paket integrasi

Unduh dan unzip RVC-beta.7z

pengguna Windows

Klik dua kali go-web.bat

pengguna MacOS

 sh ./run.sh

Bagi pengguna I-card yang perlu menggunakan teknologi IPEX (khusus Linux)

 sumber /opt/intel/oneapi/setvars.sh