ai voice cloning

การโคลนเสียง AI

หมายเหตุ ฉันไม่ได้วางแผนที่จะทำงานอย่างแข็งขันในการปรับปรุง/ปรับปรุงสำหรับโปรเจ็กต์นี้ โดยมีจุดประสงค์หลักเพื่อให้ repo อยู่ในสถานะทำงานในกรณีที่ git.ecker ดั้งเดิมหยุดทำงานหรือจำเป็นต้องทำการเปลี่ยนแปลงแพ็คเกจที่จำเป็น

ดังที่กล่าวไปแล้ว มีการปรับปรุงบางอย่างที่เพิ่มเข้ามาเมื่อเปรียบเทียบกับ repo ดั้งเดิม:

✔️สามารถฝึกภาษาอื่นได้

✔️เพิ่ม Hifigan ช่วยให้อนุมานได้เร็วขึ้นแต่ต้องแลกกับคุณภาพ

✔️ เพิ่ม Whisper-v3 เป็นตัวเลือกที่สามารถเลือกได้สำหรับ Whisperx

✔️การแปลงเอาต์พุตโดยใช้ RVC

นี่คือทางแยกของ repo ที่เดิมอยู่ที่นี่: https://git.ecker.tech/mrq/ai-voice-cloning งานทั้งหมดที่นำไปใช้เพื่อผสมผสานการฝึกอบรมกับ DLAS และการอนุมานกับ Tortoise เป็นของ mrq ผู้เขียน repo ai-voice-cloning ดั้งเดิม

ตั้งค่า

repo นี้ทำงานบน Windows ด้วย NVIDIA GPU และ Linux ที่ใช้ Docker พร้อม NVIDIA GPU

แพ็คเกจ Windows (แนะนำ)

1. ทางเลือกแต่แนะนำ: ติดตั้ง 7zip บนคอมพิวเตอร์ของคุณ: https://www.7-zip.org/
   • หากคุณประสบปัญหาในการแตกไฟล์ เป็นไปได้มากว่าเป็นเพราะ 7zip ของคุณล้าสมัย หรือคุณกำลังใช้โปรแกรมแตกไฟล์อื่น
2. ไปที่แท็บ Releases และดาวน์โหลดแพ็คเกจล่าสุดบน Hugging Face: https://github.com/JarodMica/ai-voice-cloning/releases/tag/v3.0
3. แยกไฟล์เก็บถาวร 7zip
4. เปิด ai-voice-cloning จากนั้นเรียกใช้ start.bat

การติดตั้งคู่มือทางเลือก

หากคุณกำลังติดตั้งด้วยตนเอง คุณจะต้อง:

• หลาม 3.11: https://www.python.org/downloads/release/python-311/
• คอมไพล์: https://www.git-scm.com/downloads

1. โคลนพื้นที่เก็บข้อมูล

 git clone https://github.com/JarodMica/ai-voice-cloning.git

2. เรียกใช้ไฟล์ setup-cuda.bat และไฟล์จะเริ่มทำงานผ่านแพ็คเกจ Python ทั้งหมดที่จำเป็น
   • หากคุณไม่มี python 3.11 มันจะใช้งานไม่ได้และคุณจะต้องดาวน์โหลดมัน
3. หลังจากเสร็จสิ้น ให้รัน start.bat และจะเริ่มดาวน์โหลดโมเดลส่วนใหญ่ที่คุณต้องการ
   • บางรุ่นจะถูกดาวน์โหลดเมื่อคุณใช้งานครั้งแรก คุณจะต้องดาวน์โหลดเพิ่มเติมระหว่างการสร้างและระหว่างการฝึก (สำหรับเสียงกระซิบ) อย่างไรก็ตาม เมื่อเสร็จแล้ว คุณจะไม่ต้องดาวน์โหลดมันอีกตราบใดที่คุณไม่ลบมันทิ้ง ตั้งอยู่ในโฟลเดอร์ models ของรูท
4. (ไม่บังคับ) คุณสามารถเลือกที่จะติดตั้ง Whisperx สำหรับการฝึกอบรมได้โดยการเรียกใช้ setup-whipserx.bat
   • ดูรายละเอียดเพิ่มเติมที่หน้า Whisperx github แต่จะเร็วกว่ามากสำหรับไฟล์เสียงที่ยาวกว่ามาก หากคุณกำลังประมวลผลทีละชุดด้วยชุดข้อมูลที่แยกออกไปแล้ว ความเร็วไม่ได้เพิ่มขึ้นมากนัก

นักเทียบท่าสำหรับ Linux (หรือ WSL2)

การตั้งค่าเฉพาะของ Linux

1. ตรวจสอบให้แน่ใจว่าได้ติดตั้งไดรเวอร์ NVIDIA ล่าสุดแล้ว: sudo ubuntu-drivers install

2. ติดตั้ง Docker ตามที่คุณต้องการ วิธีหนึ่งที่ทำได้คือปฏิบัติตามเอกสารอย่างเป็นทางการที่นี่

   • เริ่มต้นด้วยการถอนการติดตั้งเวอร์ชันเก่า
   • ปฏิบัติตามวิธีการติดตั้งที่เก็บ "apt"
   • ตรวจสอบว่าทุกอย่างใช้งานได้กับคอนเทนเนอร์ "hello-world"

3. หากเมื่อเปิดใช้งาน Voice Cloning Docker คุณมีข้อความแสดงข้อผิดพลาดแจ้งว่าไม่สามารถใช้ GPU ได้ คุณอาจต้องติดตั้ง Nvidia Docker Container Toolkit

   • ติดตั้งด้วยวิธี "apt"

   • รันคำสั่งการกำหนดค่านักเทียบท่า

     sudo nvidia-ctk runtime configure --runtime=docker

   • รีสตาร์ทนักเทียบท่า

การตั้งค่าเฉพาะของ Windows

ตรวจสอบให้แน่ใจว่าไดรเวอร์ Nvidia ของคุณทันสมัย: https://www.nvidia.com/download/index.aspx

1. ติดตั้ง WSL2 ใน PowerShell ด้วย wsl --install และรีสตาร์ท
2. เปิด PowerShell พิมพ์และป้อน ubuntu ตอนนี้มันควรจะโหลดคุณเข้าสู่ wsl2
3. ลบคีย์แคช NVIDIA ดั้งเดิม: sudo apt-key del 7fa2af80
4. ดาวน์โหลดพวงกุญแจชุดเครื่องมือ CUDA: wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
5. ติดตั้งพวงกุญแจ: sudo dpkg -i cuda-keyring_1.1-1_all.deb
6. อัปเดตรายการแพ็คเกจ: sudo apt-get update
7. ติดตั้งชุดเครื่องมือ CUDA: sudo apt-get -y install cuda-toolkit-12-4
8. ติดตั้ง Docker Desktop โดยใช้ WSL2 เป็นแบ็กเอนด์
9. รีสตาร์ท
10. หากคุณต้องการตรวจสอบเทอร์มินัลจากระยะไกลผ่าน SSH ให้ปฏิบัติตามคำแนะนำนี้
11. เปิด PowerShell พิมพ์ ubuntu จากนั้นทำตามด้านล่าง

การสร้างและใช้งานใน Docker

1. เปิดเทอร์มินัล (หรือ Ubuntu WSL)
2. โคลนพื้นที่เก็บข้อมูล: git clone https://github.com/JarodMica/ai-voice-cloning.git && cd ai-voice-cloning
3. สร้างอิมเมจด้วย ./setup-docker.sh
4. เริ่มคอนเทนเนอร์ด้วย ./start-docker.sh
5. ไปที่ http://localhost:7860 หรือระยะไกลด้วย http://<ip>:7860

หากไม่สามารถเข้าถึงเซิร์ฟเวอร์ระยะไกลได้ ให้ชำระเงินในกระทู้นี้

คุณอาจต้องทำการแมปโฟลเดอร์ในเครื่องของคุณใหม่ไปยังโฟลเดอร์ Docker ในการดำเนินการนี้ คุณต้องเปิดสคริปต์ "start-docker.sh" และอัปเดตบางบรรทัด ตัวอย่างเช่น หากคุณต้องการค้นหาไฟล์เสียงที่คุณสร้างขึ้นอย่างง่ายดาย ให้สร้างโฟลเดอร์ "results" ในไดเรกทอรีราก จากนั้นใน "start-docker.sh" ให้เพิ่มบรรทัด:

-v "your/custom/path:/home/user/ai-voice-cloning/results"

คำแนะนำ

ชำระเงินวิดีโอ YouTube:

ดูก่อน: https://youtu.be/WWhNqJEmF9M?si=RhUZhYersAvSZ4wf

ดูวินาที (อัปเดต RVC): https://www.youtube.com/watch?v=7tpWH8_S8es&t=504s

ทุกอย่างจะค่อนข้างเหมือนเดิมหากคุณเคยใช้พื้นที่เก็บข้อมูลนี้ในอดีต อย่างไรก็ตาม มีตัวเลือกใหม่ในการแปลงเอาต์พุตข้อความโดยใช้ rvc ก่อนที่คุณจะสามารถใช้งานได้ คุณจะต้องมีไฟล์ RVC .pth ที่ผ่านการฝึกอบรม ซึ่งคุณได้รับจาก RVC หรือออนไลน์ จากนั้นคุณจะต้องวางไฟล์ไว้ใน models/rvc_models/ สามารถวางทั้งไฟล์ .index และ .pth ได้ที่นี่ และจะแสดงอย่างถูกต้องในเมนูแบบเลื่อนลงตามลำดับ

หากต้องการเปิดใช้งาน rvc:

1. ตรวจสอบและเปิดใช้งาน Show Experimental Settings เพื่อแสดงตัวเลือกเพิ่มเติม
2. ตรวจสอบและเปิดใช้งาน Run the outputter audio through RVC ตอนนี้คุณจะสามารถเข้าถึงพารามิเตอร์ที่คุณสามารถปรับเปลี่ยนใน RVC สำหรับโมเดลเสียง RVC ที่คุณใช้อยู่

กำลังอัปเดตการติดตั้งของคุณ

ด้านล่างนี้เป็นวิธีที่คุณสามารถอัปเดตแพ็คเกจสำหรับการอัพเดตล่าสุด

หน้าต่าง

หมายเหตุ: หากมีการเปลี่ยนแปลงคุณสมบัติที่สำคัญ ให้ตรวจสอบรุ่นล่าสุดเพื่อดูว่า update_package.bat จะทำงานหรือไม่ ถ้าไม่ คุณจะต้องดาวน์โหลดใหม่และแตกแพ็คเกจออกจาก Hugging Face ใหม่

1. รันไฟล์ update_package.bat
   • มันจะโคลน repo และจะคัดลอกโฟลเดอร์ src จาก repo ไปยังแพ็คเกจ

การติดตั้งคู่มือทางเลือก

คุณควรจะสามารถนำทางไปยังโฟลเดอร์แล้วดึง repo เพื่ออัปเดตได้

 cd ai-voice-cloning
git pull

หากมีการเพิ่มคุณสมบัติขนาดใหญ่ คุณอาจต้องลบ venv และรันสคริปต์ setup-cuda อีกครั้งเพื่อให้แน่ใจว่าไม่มีปัญหาเกี่ยวกับแพ็คเกจ

ลินุกซ์ผ่านนักเทียบท่า

คุณควรจะสามารถนำทางไปยังโฟลเดอร์ได้ จากนั้นดึง repo เพื่ออัปเดต จากนั้นสร้างอิมเมจ Docker ของคุณขึ้นมาใหม่

 cd ai-voice-cloning
git pull
./setup-docker.sh

เอกสารประกอบ

การแก้ไขปัญหาการติดตั้งด้วยตนเอง

อาคารผู้โดยสารคือเพื่อนของคุณ ข้อผิดพลาดหรือปัญหาใดๆ จะปรากฏขึ้นในเทอร์มินัลเมื่อคุณลองและเรียกใช้ จากนั้นคุณก็สามารถเริ่มแก้ไขจุดบกพร่องได้จากที่นั่น

• หากอยู่ในกระบวนการใดที่หนึ่ง คบเพลิงเกิดข้อผิดพลาด คุณอาจต้องติดตั้งใหม่ คุณจะต้องถอนการติดตั้ง จากนั้นติดตั้งใหม่ดังต่อไปนี้ อย่าลืมพิมพ์ (Y) เพื่อยืนยันการลบ

 .venvScriptsactivate.bat
pip uninstall torch
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

รายงานข้อผิดพลาด

หากคุณประสบปัญหาใดๆ โปรดเปิดปัญหาใหม่บนแท็บปัญหา

เคล็ดลับสำหรับนักพัฒนา

setup-cuda.bat ควรมีทุกสิ่งที่คุณต้องการสำหรับการติดตั้งแพ็คเกจ ไฟล์ข้อกำหนดที่แตกต่างกันทั้งหมดทำให้สคริปต์ค่อนข้างยุ่งเหยิง แต่ repo แต่ละไฟล์มีข้อกำหนดที่ติดตั้งไว้ และในตอนท้าย จำเป็นต้องมีไฟล์ requirements.txt ในรูทเพื่อเปลี่ยนเวอร์ชัน กลับ เป็นเวอร์ชันที่เข้ากันได้สำหรับ repo นี้