data_driven_ai_voice_cloning

การโคลนเสียง AI ที่ขับเคลื่อนด้วยข้อมูล

พื้นที่เก็บข้อมูลนี้เป็นการนำส่วนหลักของวิทยานิพนธ์ปริญญาโทของฉันในสาขาวิทยาศาสตร์ข้อมูลและวิศวกรรมศาสตร์ไปใช้ แบ่งออกเป็นสองส่วน:

1. ตัวเข้ารหัสลำโพง

1. รุ่น: ECAPA-TDNN, wavlm-series
2. ข้อมูล: VoxCeleb1 ชุดข้อมูลส่วนตัว

2. ข้อความเป็นคำพูด

1. รุ่น: FastSpeech2 (การใช้งาน Microsoft)
2. ข้อมูล: LibriTTS

จากนั้นทั้งสองส่วนนี้จะถูกรวมเข้าด้วยกันเพื่อให้ได้โมเดลการแปลงข้อความเป็นคำพูดจากลำโพงหลายตัว ซึ่งสามารถโคลนเสียงที่มองไม่เห็นโดยเริ่มจากเสียงประมาณ 5 วินาที รุ่น ZeroShotFastSpeech2