WebUI การแปลงเสียงตามการดึงข้อมูล

การดึงข้อมูลตามการแปลงเสียง-WebUI

กรอบงานการเปลี่ยนเสียงที่เรียบง่ายและใช้งานง่ายโดยยึดตาม VITS

อัปเดตบันทึก |. คำถาม ที่พบบ่อย | . AutoDL·5 เซ็นต์เพื่อฝึกอบรมนักร้อง AI |

อังกฤษ |中文简体|日本语|​

โมเดลพื้นฐานได้รับการฝึกฝนโดยใช้ชุดการฝึกอบรม VCTK คุณภาพสูงแบบโอเพ่นซอร์สเกือบ 50 ชั่วโมง โปรดอย่าลังเลที่จะใช้มัน

โปรดตั้งตารอ RVCv3 รุ่นล่างสุดซึ่งมีพารามิเตอร์ที่ใหญ่กว่า ข้อมูลมากกว่า ผลลัพธ์ที่ดีกว่า โดยพื้นฐานแล้วมีความเร็วในการอนุมานเท่าเดิม และต้องการข้อมูลการฝึกน้อยกว่า

อินเทอร์เฟซการอนุมานการฝึกอบรม	อินเทอร์เฟซการเปลี่ยนเสียงแบบเรียลไทม์
go-web.bat	go-realtime-gui.bat
คุณมีอิสระที่จะเลือกสิ่งที่คุณต้องการจะทำ	เราได้รับความหน่วงตั้งแต่ต้นทางถึงปลายทางที่ 170ms หากคุณใช้อุปกรณ์อินพุตและเอาต์พุต ASIO คุณสามารถบรรลุเวลาแฝง 90ms จากต้นทางถึงปลายทางได้ แต่จะต้องอาศัยการสนับสนุนไดรเวอร์ฮาร์ดแวร์เป็นอย่างมาก

การแนะนำ

คลังสินค้าแห่งนี้มีลักษณะดังต่อไปนี้

• ใช้การค้นหา top1 เพื่อแทนที่คุณสมบัติแหล่งอินพุตด้วยคุณสมบัติชุดการฝึกอบรมเพื่อป้องกันการรั่วไหลของเสียง

• การฝึกอบรมที่รวดเร็วแม้กับการ์ดกราฟิกที่ค่อนข้างแย่

• การใช้ข้อมูลจำนวนเล็กน้อยในการฝึกอบรมยังให้ผลลัพธ์ที่ดีกว่าอีกด้วย (แนะนำให้รวบรวมข้อมูลเสียงพูดที่มีเสียงรบกวนต่ำอย่างน้อย 10 นาที)

• เสียงสามารถเปลี่ยนได้ผ่านโมเดลฟิวชั่น (ด้วยความช่วยเหลือของ ckpt-merge ในแท็บการประมวลผล ckpt)

• เว็บอินเตอร์เฟสที่เรียบง่ายและใช้งานง่าย

• สามารถเรียกรุ่น UVR5 เพื่อแยกเสียงร้องและเสียงประกอบได้อย่างรวดเร็ว

• ใช้อัลกอริธึมการแยกระดับเสียงของมนุษย์ที่ทันสมัยที่สุด InterSpeech2023-RMVPE เพื่อขจัดปัญหาการปิดเสียง ทำงานได้ดีที่สุด (อย่างมีนัยสำคัญ) แต่เร็วกว่าและเล็กกว่า crepe_full

• การ์ด I การ์ดรองรับการเร่งความเร็ว

คลิกที่นี่เพื่อดูวิดีโอสาธิตของเรา!

การกำหนดค่าสภาพแวดล้อม

คำแนะนำต่อไปนี้จะต้องดำเนินการในสภาพแวดล้อมที่มีเวอร์ชัน Python มากกว่า 3.8

วิธีการทั่วไปสำหรับ Windows/Linux/MacOS และแพลตฟอร์มอื่นๆ

เลือกวิธีใดวิธีหนึ่งต่อไปนี้

1. ติดตั้งการพึ่งพาผ่าน pip

1. ติดตั้ง Pytorch และการอ้างอิงหลัก ข้ามหากติดตั้งไว้แล้ว อ้างอิงจาก: https://pytorch.org/get-started/locally/

 pip ติดตั้งไฟฉาย torchvision torchaudio

2. หากเป็นระบบ win + สถาปัตยกรรม Nvidia Ampere (RTX30xx) ตามประสบการณ์ #21 คุณต้องระบุเวอร์ชัน cuda ที่สอดคล้องกับ pytorch

 pip ติดตั้งไฟฉาย torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

3. ติดตั้งการพึ่งพาที่เกี่ยวข้องตามกราฟิกการ์ดของคุณเอง

• เอ็นการ์ด

 pip ติดตั้ง -r ข้อกำหนด.txt

• การ์ด/ไอการ์ด

 pip ติดตั้ง -r ข้อกำหนด-dml.txt

• การ์ด ROCM (Linux)

 pip ติดตั้ง -r ข้อกำหนด-amd.txt

• ไอการ์ดIPEX(Linux)

 pip ติดตั้ง -r ข้อกำหนด-ipex.txt

2. ติดตั้งการพึ่งพาผ่านบทกวี

ติดตั้งเครื่องมือการจัดการการพึ่งพาบทกวี ข้ามไปหากติดตั้งไว้แล้ว อ้างอิงจาก: https://python-poetry.org/docs/#installation

 curl -sSL https://install.python-poetry.org | .python3 -

เมื่อติดตั้งการพึ่งพาผ่าน Poetry แนะนำให้ใช้ python เวอร์ชัน 3.7-3.10 เวอร์ชันอื่นจะขัดแย้งกันเมื่อติดตั้ง llvmlite==0.39.0

 บทกวีเริ่มต้น -n
บทกวี env ใช้ "เส้นทางไปยัง python.exe ของคุณ" บทกวีรัน pip install -r needs.txt

แมคโอเอส

สามารถติดตั้งการพึ่งพาผ่าน run.sh

 ช ./run.sh

การเตรียมการก่อนแบบจำลองอื่น ๆ

RVC ต้องการโมเดลล่วงหน้าอื่นๆ สำหรับการอนุมานและการฝึกอบรม

คุณสามารถดาวน์โหลดโมเดลเหล่านี้ได้จากพื้นที่ Hugging Face ของเรา

1. ดาวน์โหลดเนื้อหา

ด้านล่างนี้คือรายการที่มีชื่อของโมเดลล่วงหน้าและไฟล์อื่นๆ ทั้งหมดที่จำเป็นสำหรับ RVC คุณสามารถค้นหาสคริปต์เพื่อดาวน์โหลดได้ในโฟลเดอร์ tools

• ./assets/hubert/hubert_base.pt

• ./assets/ฝึกหัดแล้ว

• ./assets/uvr5_weights

หากต้องการใช้รุ่นเวอร์ชัน v2 จะต้องดาวน์โหลดเพิ่มเติม

• ./assets/pretrained_v2

2. ติดตั้ง ffmpeg

หากติดตั้ง ffmpeg และ ffprobe ไว้แล้ว ให้ข้ามไป

ผู้ใช้ Ubuntu/Debian

 sudo apt ติดตั้ง ffmpeg

ผู้ใช้ MacOS

 ชงติดตั้ง ffmpeg

ผู้ใช้วินโดวส์

หลังจากดาวน์โหลดแล้ว ให้วางไว้ในไดเร็กทอรีราก

• ดาวน์โหลด ffmpeg.exe

• ดาวน์โหลด ffprobe.exe

3. ดาวน์โหลดไฟล์ที่จำเป็นสำหรับอัลกอริธึมการแยกระดับเสียงร้อง rmvpe

หากคุณต้องการใช้อัลกอริธึมการแยกระดับเสียงร้อง RMVPE ล่าสุด คุณจะต้องดาวน์โหลดพารามิเตอร์โมเดลการแยกระดับเสียงและวางลงในไดเรกทอรีรากของ RVC

• ดาวน์โหลดrmvpe.pt

ดาวน์โหลดสภาพแวดล้อม dml ของ rmvpe (เป็นทางเลือก ผู้ใช้การ์ด A/I การ์ด)

• ดาวน์โหลดrmvpe.onnx

4. กราฟิกการ์ด AMD Rocm (อุปกรณ์เสริม, Linux เท่านั้น)

หากคุณต้องการรัน RVC บนระบบ Linux ที่ใช้เทคโนโลยี Rocm ของ AMD โปรดติดตั้งไดรเวอร์ที่จำเป็นที่นี่ก่อน

หากคุณใช้ Arch Linux คุณสามารถใช้ pacman เพื่อติดตั้งไดรเวอร์ที่จำเป็น:

pacman -S rocm-hip-sdk rocm-opencl-sdk

สำหรับกราฟิกการ์ดบางรุ่น คุณอาจต้องกำหนดค่าตัวแปรสภาพแวดล้อมต่อไปนี้เพิ่มเติม (เช่น: RX6700XT):

export ROCM_PATH=/opt/rocm
export HSA_OVERRIDE_GFX_VERSION=10.3.0

ตรวจสอบให้แน่ใจว่าผู้ใช้ปัจจุบันของคุณอยู่ในกลุ่มผู้ใช้ render และ video :

sudo usermod -aG render $USERNAME
sudo usermod -aG video $USERNAME

เริ่มต้นเลย

เริ่มต้นโดยตรง

ใช้คำสั่งต่อไปนี้เพื่อเริ่ม WebUI

 หลามอนุมาน-web.py

หากก่อนหน้านี้คุณเคยใช้ Poetry เพื่อติดตั้งการขึ้นต่อกัน คุณสามารถเริ่ม WebUI ได้ด้วยวิธีต่อไปนี้

 บทกวีเรียกใช้ python infer-web.py

ใช้แพ็คเกจการรวม

ดาวน์โหลดและแตก RVC-beta.7z

ผู้ใช้วินโดวส์

ดับเบิลคลิก go-web.bat

ผู้ใช้ MacOS

 ช ./run.sh

สำหรับผู้ใช้ I-card ที่ต้องการใช้เทคโนโลยี IPEX (เฉพาะ Linux)

 แหล่งที่มา /opt/intel/oneapi/setvars.sh