ai voice cloning

Kloning Suara AI

Catatan Saya tidak berencana untuk secara aktif mengerjakan perbaikan/penyempurnaan untuk proyek ini, hal ini terutama dimaksudkan untuk menjaga repo dalam kondisi berfungsi jika git.ecker asli tidak berfungsi atau perubahan paket yang diperlukan perlu dilakukan.

Meskipun demikian, beberapa peningkatan ditambahkan dibandingkan dengan repo asli:

✔️ Kemungkinan untuk berlatih dalam bahasa lain

✔️ Hifigan menambahkan, memungkinkan inferensi lebih cepat dengan mengorbankan kualitas.

✔️ bisikan-v3 ditambahkan sebagai opsi yang dapat dipilih untuk bisikanx

✔️ Konversi keluaran menggunakan RVC

Ini adalah cabang dari repo yang aslinya terletak di sini: https://git.ecker.tech/mrq/ai-voice-cloning. Semua pekerjaan yang dilakukan untuk menggabungkan pelatihan dengan DLAS dan inferensi dengan Tortoise adalah milik mrq, penulis repo ai-voice-cloning asli.

Pengaturan

Repo ini berfungsi di Windows dengan GPU NVIDIA dan Linux yang menjalankan Docker dengan GPU NVIDIA .

Paket Windows (Disarankan)

1. Opsional, namun disarankan: Instal 7zip di komputer Anda: https://www.7-zip.org/
   • Jika Anda mengalami masalah ekstraksi, kemungkinan besar itu disebabkan oleh 7zip Anda yang kedaluwarsa ATAU Anda menggunakan ekstraktor lain.
2. Buka tab rilis dan unduh paket terbaru di Hugging Face: https://github.com/JarodMica/ai-voice-cloning/releases/tag/v3.0
3. Ekstrak arsip 7zip.
4. Buka ai-voice-cloning lalu jalankan start.bat

Instalasi Manual Alternatif

Jika Anda menginstalnya secara manual, Anda memerlukan:

• Python 3.11: https://www.python.org/downloads/release/python-311/
• Git: https://www.git-scm.com/downloads

1. Kloning repositori

 git clone https://github.com/JarodMica/ai-voice-cloning.git

2. Jalankan file setup-cuda.bat dan itu akan mulai menjalankan semua paket python yang diperlukan
   • Jika Anda tidak memiliki python 3.11, itu tidak akan berfungsi dan Anda harus mengunduhnya
3. Setelah selesai, jalankan start.bat dan ini akan mulai mengunduh sebagian besar model yang Anda perlukan.
   • Beberapa model diunduh saat Anda pertama kali menggunakannya. Anda akan dikenakan unduhan tambahan selama pembuatan dan saat pelatihan (untuk berbisik). Namun, setelah selesai, Anda tidak perlu mengunduhnya lagi selama Anda tidak menghapusnya. Mereka terletak di folder models root.
4. (Opsional) Anda dapat memilih untuk menginstal Whipserx untuk pelatihan dengan menjalankan setup-whipserx.bat
   • Lihat halaman Whisperx github untuk lebih jelasnya, tetapi ini jauh lebih cepat untuk file audio yang lebih panjang. Jika Anda memproses satu per satu dengan kumpulan data yang sudah terpecah, hal ini tidak akan meningkatkan kecepatan sebanyak itu.

Docker untuk Linux (atau WSL2)

Pengaturan Khusus Linux

1. Pastikan driver nvidia terbaru sudah terinstal: sudo ubuntu-drivers install

2. Instal Docker sesuai keinginan Anda. Salah satu cara melakukannya adalah dengan mengikuti dokumentasi resmi di sini.

   • Mulailah dengan mencopot pemasangan versi lama
   • Ikuti metode instalasi repositori "apt".
   • Periksa apakah semuanya berfungsi dengan wadah "hello-world".

3. Jika, saat meluncurkan buruh pelabuhan kloning suara, Anda mendapatkan pesan kesalahan yang mengatakan bahwa GPU tidak dapat digunakan, Anda mungkin harus menginstal Nvidia Docker Container Toolkit.

   • Instal dengan metode "apt".

   • Jalankan perintah konfigurasi buruh pelabuhan

     sudo nvidia-ctk runtime configure --runtime=docker

   • Mulai ulang buruh pelabuhan

Pengaturan Khusus Windows

Pastikan driver Nvidia Anda mutakhir: https://www.nvidia.com/download/index.aspx

1. Instal WSL2 di PowerShell dengan wsl --install dan mulai ulang
2. Buka PowerShell, ketik dan masukkan ubuntu . Sekarang seharusnya memuat Anda ke wsl2
3. Hapus kunci cache nvidia asli: sudo apt-key del 7fa2af80
4. Unduh gantungan kunci toolkit CUDA: wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
5. Pasang gantungan kunci: sudo dpkg -i cuda-keyring_1.1-1_all.deb
6. Perbarui daftar paket: sudo apt-get update
7. Instal perangkat CUDA: sudo apt-get -y install cuda-toolkit-12-4
8. Instal Docker Desktop menggunakan WSL2 sebagai backend
9. Mulai ulang
10. Jika Anda ingin memantau terminal dari jarak jauh melalui SSH, ikuti panduan ini.
11. Buka PowerShell, ketik ubuntu , lalu ikuti di bawah

Membangun dan Menjalankan di Docker

1. Buka terminal (atau Ubuntu WSL)
2. Kloning repositori: git clone https://github.com/JarodMica/ai-voice-cloning.git && cd ai-voice-cloning
3. Bangun gambar dengan ./setup-docker.sh
4. Mulai wadah dengan ./start-docker.sh
5. Kunjungi http://localhost:7860 atau dari jarak jauh dengan http://<ip>:7860

Jika server jarak jauh tidak dapat dijangkau, periksa thread ini

Anda mungkin juga perlu memetakan ulang folder lokal Anda ke folder Docker. Untuk melakukan ini, Anda harus membuka skrip "start-docker.sh", dan memperbarui beberapa baris. Misalnya, jika Anda ingin menemukan audio yang dihasilkan dengan mudah, buat folder "results" di direktori root, lalu di "start-docker.sh" tambahkan baris:

-v "your/custom/path:/home/user/ai-voice-cloning/results"

instruksi

Lihat video YouTube:

Tonton Dulu: https://youtu.be/WWhNqJEmF9M?si=RhUZhYersAvSZ4wf

Tonton Kedua (pembaruan RVC): https://www.youtube.com/watch?v=7tpWH8_S8es&t=504s

Semuanya hampir sama seperti sebelumnya jika Anda pernah menggunakan repositori ini sebelumnya, namun, ada opsi baru untuk mengonversi keluaran teks menggunakan rvc . Sebelum Anda dapat menggunakannya, Anda memerlukan file .pth RVC terlatih yang Anda dapatkan dari RVC atau online, dan kemudian Anda harus menempatkannya di models/rvc_models/ . File .index dan .pth dapat ditempatkan di sini dan akan ditampilkan dengan benar di menu dropdown masing-masing.

Untuk mengaktifkan rvc:

1. Centang dan aktifkan Show Experimental Settings untuk menampilkan lebih banyak opsi
2. Periksa dan aktifkan Run the outputter audio through RVC . Anda sekarang akan memiliki akses ke parameter yang dapat Anda sesuaikan di RVC untuk model suara RVC yang Anda gunakan.

Memperbarui Instalasi Anda

Di bawah ini adalah bagaimana Anda dapat memperbarui paket untuk pembaruan terkini

jendela

CATATAN: Jika ada perubahan fitur besar, periksa rilis terbaru untuk melihat apakah update_package.bat akan berfungsi. Jika TIDAK, Anda perlu mengunduh ulang dan mengekstrak ulang paket dari Hugging Face.

1. Jalankan file update_package.bat
   • Ini akan mengkloning repo dan menyalin folder src dari repo ke paket.

Instalasi Manual Alternatif

Anda seharusnya dapat menavigasi ke dalam folder dan kemudian menarik repo untuk memperbaruinya.

 cd ai-voice-cloning
git pull

Jika ada fitur besar yang ditambahkan, Anda mungkin perlu menghapus venv dan menjalankan kembali skrip setup-cuda untuk memastikan tidak ada masalah paket

Linux melalui Docker

Anda seharusnya dapat menavigasi ke dalam folder tersebut dan kemudian menarik repo untuk memperbaruinya, lalu membangun kembali image Docker Anda.

 cd ai-voice-cloning
git pull
./setup-docker.sh

Dokumentasi

Pemecahan Masalah Instalasi Manual

Terminal adalah teman Anda. Kesalahan atau masalah apa pun akan muncul di terminal saat Anda mencoba dan menjalankannya, lalu Anda dapat mulai melakukan debug dari sana.

• Jika di suatu tempat dalam proses, obor menjadi kacau, Anda mungkin harus menginstalnya kembali. Anda harus mencopot pemasangannya, lalu memasangnya kembali seperti berikut. Pastikan untuk mengetik (Y) untuk mengonfirmasi penghapusan.

 .venvScriptsactivate.bat
pip uninstall torch
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

Pelaporan Bug

Jika Anda mengalami masalah, silakan buka terbitan baru di tab isu.

Kiat untuk pengembang

setup-cuda.bat harus memiliki semua yang Anda perlukan untuk menginstal paket. Semua file persyaratan yang berbeda membuatnya cukup berantakan dalam skrip, tetapi setiap repo memiliki persyaratannya yang diinstal, dan pada akhirnya, requirements.txt di root diperlukan untuk mengubah versi kembali ke versi yang kompatibel untuk repo ini.