Real Time Voice Cloning

リアルタイム音声クローン作成

このリポジトリは、リアルタイムで動作するボコーダーを備えた話者検証からマルチ話者音声合成 (SV2TTS) への転移学習の実装です。これが私の修士論文でした。

SV2TTS は 3 段階の深層学習フレームワークです。最初の段階では、数秒間の音声から音声のデジタル表現を作成します。第 2 段階と第 3 段階では、この表現が参照として使用され、任意のテキストから音声を生成します。

ビデオデモンストレーション(画像をクリック):

実施された論文

URL	指定	タイトル	実装ソース
1806.04558	SV2TTS	話者検証からマルチ話者テキスト読み上げ合成への学習の転移	このリポジトリ
1802.08435	WaveRNN (ボコーダー)	効率的なニューラルオーディオ合成	ファットコード/WaveRNN
1703.10135	タコトロン（シンセサイザー）	Tacotron: エンドツーエンドの音声合成に向けて	ファットコード/WaveRNN
1710.10467	GE2E（エンコーダ）	話者検証のための一般化されたエンドツーエンド損失	このリポジトリ

注意喚起

ディープ ラーニングの他のすべてと同様、このリポジトリもすぐに古くなってしまいました。多くの SaaS アプリ (有料の場合が多い) では、このリポジトリよりも優れた音質が得られます。高音声品質のオープンソース ソリューションが必要な場合:

• 他のリポジトリや音声合成分野の最近の研究については、paperwithcode をチェックしてください。
• より優れた音声クローン品質とより多くの機能を備えたリポジトリについては、CoquiTTS をチェックしてください。
• 高音声品質の大規模音声モデルについては、MetaVoice-1B をチェックしてください。

設定

1. インストール要件

1. Windows と Linux の両方がサポートされています。 GPU はトレーニングと推論速度のために推奨されますが、必須ではありません。
2. Python 3.7 をお勧めします。 Python 3.5 以降は動作するはずですが、おそらく依存関係のバージョンを調整する必要があります。 venv使用して仮想環境をセットアップすることをお勧めしますが、これはオプションです。
3. ffmpegをインストールします。これは音声ファイルを読み取るために必要です。
4. PyTorchをインストールします。最新の安定したバージョン、オペレーティング システム、パッケージ マネージャー (デフォルトでは pip) を選択し、最後に GPU がある場合は提案された CUDA バージョンのいずれかを選択し、そうでない場合は CPU を選択します。指定されたコマンドを実行します。
5. pip install -r requirements.txtを使用して残りの要件をインストールします。

2. (オプション) 事前トレーニング済みモデルをダウンロードする

事前トレーニングされたモデルが自動的にダウンロードされるようになりました。これがうまくいかない場合は、ここから手動でダウンロードできます。

3. (オプション) テスト構成

データセットをダウンロードする前に、以下を使用して構成をテストすることから始めることができます。

python demo_cli.py

すべてのテストに合格したら、準備完了です。

4. (オプション) データセットのダウンロード

ツールボックスのみを使用する場合は、 LibriSpeech/train-clean-100ダウンロードすることのみをお勧めします。内容を/LibriSpeech/train-clean-100として抽出します。ここで、 選択したディレクトリです。他のデータセットはツールボックスでサポートされています。こちらを参照してください。データセットをダウンロードしないことは自由ですが、その場合は独自のデータを音声ファイルとして必要とするか、ツールボックスを使用して録音する必要があります。

5. ツールボックスを起動します

その後、ツールボックスを試すことができます。

python demo_toolbox.py -d
または
python demo_toolbox.py

データセットをダウンロードしたかどうかに応じて異なります。 X サーバーを実行している場合、またはエラーAborted (core dumped)が発生した場合は、この問題を参照してください。