data_driven_ai_voice_cloning

データ駆動型 AI 音声クローン作成

このリポジトリは、データサイエンスとエンジニアリングにおける私の修士論文の主要部分を実装したものです。これは 2 つの部分に分かれています。

1. スピーカーエンコーダー

1. モデル: ECAPA-TDNN、wavlm-シリーズ
2. データ: VoxCeleb1、プライベート データセット

2. テキスト読み上げ

1. モデル: FastSpeech2 (Microsoft 実装)
2. データ：LibriTTS

この 2 つの部分を統合して、約 5 秒の音声から始まる目に見えない音声のクローンを作成できるマルチ スピーカー Text to Speech モデル (ZeroShotFastSpeech2 モデル) を実現します。