ai voice cloning

AI音声クローン作成

注:このプロジェクトの改善/拡張に積極的に取り組む予定はありません。これは主に、元の git.ecker がダウンした場合や必要なパッケージ変更が必要な場合に備えて、リポジトリを動作状態に保つことを目的としています。

そうは言っても、元のリポジトリと比較していくつかの機能強化が追加されました。

✔️他言語でのトレーニングも可能

✔️ Hifigan が追加され、品質を犠牲にしてより高速な推論が可能になります。

✔️ Whisperx の選択可能なオプションとして Whisper-v3 が追加されました

✔️ RVC を使用した出力変換

これは、もともとここにあったリ​​ポジトリのフォークです: https://git.ecker.tech/mrq/ai-voice-cloning。 DLAS によるトレーニングと Tortoise による推論を組み込むために投入されたすべての作業は、元の AI 音声クローン リポジトリの作成者である mrq に属します。

設定

このリポジトリは、 NVIDIA GPU を搭載した Windows と、 NVIDIA GPU を搭載した Docker を実行している Linuxで動作します。

Windows パッケージ (推奨)

1. オプションですが推奨: 7zip をコンピューターにインストールします: https://www.7-zip.org/
   • 解凍の問題が発生した場合は、7zip が古いか、別の解凍ツールを使用していることが原因である可能性が高くなります。
2. [リリース] タブに移動し、Hugging Face で最新のパッケージをダウンロードします: https://github.com/JarodMica/ai-voice-cloning/releases/tag/v3.0
3. 7zip アーカイブを解凍します。
4. ai-voice-cloning を開いて、 start.bat実行します。

代替の手動インストール

これを手動でインストールする場合は、以下が必要になります。

• Python 3.11: https://www.python.org/downloads/release/python-311/
• Git: https://www.git-scm.com/downloads

1. リポジトリのクローンを作成する

 git clone https://github.com/JarodMica/ai-voice-cloning.git

2. setup-cuda.batファイルを実行すると、必要なすべての Python パッケージの実行が開始されます。
   • Python 3.11 をお持ちでない場合は機能しないため、ダウンロードする必要があります
3. 完了したら、 start.batを実行すると、必要なほとんどのモデルのダウンロードが開始されます。
   • 一部のモデルは、初回使用時にダウンロードされます。生成中およびトレーニング (ささやきの場合) 中に追加のダウンロードが発生します。ただし、一度完了すると、削除しない限り、再度ダウンロードする必要はありません。これらはルートのmodelsフォルダーにあります。
4. (オプション) setup-whipserx.batを実行して、トレーニング用に Whisperx をインストールすることを選択できます。
   • 詳細については、ウィスパーx github ページを確認してください。ただし、長い音声ファイルの場合は、この方がはるかに高速です。すでに分割されたデータセットを 1 つずつ処理している場合、速度はそれほど向上しません。

Linux (または WSL2) 用の Docker

Linux 固有のセットアップ

1. 最新の nvidia ドライバーがインストールされていることを確認します: sudo ubuntu-drivers install

2. 好みの方法で Docker をインストールします。これを行う 1 つの方法は、こちらの公式ドキュメントに従うことです。

   • まずは古いバージョンをアンインストールします
   • 「apt」リポジトリのインストール方法に従ってください
   • 「hello-world」コンテナですべてが動作していることを確認します

3. 音声クローン Docker を起動するときに、GPU を使用できないというエラー メッセージが表示される場合は、Nvidia Docker Container Toolkit をインストールする必要がある可能性があります。

   • 「apt」方式でインストールする

   • docker 設定コマンドを実行する

     sudo nvidia-ctk runtime configure --runtime=docker

   • ドッカーを再起動します

Windows 固有のセットアップ

Nvidia ドライバーが最新であることを確認してください: https://www.nvidia.com/download/index.aspx

1. wsl --installを使用して PowerShell に WSL2 をインストールし、再起動します
2. PowerShell を開き、 ubuntuと入力します。 wsl2 にロードされるはずです
3. 元の nvidia キャッシュ キーを削除します: sudo apt-key del 7fa2af80
4. CUDA ツールキット キーリングのダウンロード: wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
5. キーリングをインストールします: sudo dpkg -i cuda-keyring_1.1-1_all.deb
6. パッケージリストを更新: sudo apt-get update
7. CUDA ツールキットをインストールします: sudo apt-get -y install cuda-toolkit-12-4
8. WSL2 をバックエンドとして使用して Docker Desktop をインストールする
9. 再起動
10. SSH 経由で端末をリモート監視する場合は、このガイドに従ってください。
11. PowerShell を開いてubuntuと入力し、以下に従ってください

Docker での構築と実行

1. ターミナル (または Ubuntu WSL) を開きます。
2. リポジトリのクローンを作成します: git clone https://github.com/JarodMica/ai-voice-cloning.git && cd ai-voice-cloning
3. ./setup-docker.shを使用してイメージをビルドします
4. ./start-docker.shでコンテナを起動します。
5. http://localhost:7860にアクセスするか、 http://<ip>:7860を使用してリモートにアクセスします。

リモートサーバーにアクセスできない場合は、このスレッドをチェックアウトしてください

ローカル フォルダーを Docker フォルダーに再マップする必要がある場合もあります。これを行うには、「start-docker.sh」スクリプトを開き、いくつかの行を更新する必要があります。たとえば、生成されたオーディオを簡単に見つけたい場合は、ルート ディレクトリに「results」フォルダーを作成し、「start-docker.sh」に次の行を追加します。

-v "your/custom/path:/home/user/ai-voice-cloning/results"

説明書

YouTube ビデオをチェックしてください。

最初に見る: https://youtu.be/WWhNqJEmF9M?si=RhUZhYersAvSZ4wf

Watch Second (RVC アップデート): https://www.youtube.com/watch?v=7tpWH8_S8es&t=504s

過去にこのリポジトリを使用したことがある場合は、すべてが以前とほぼ同じですが、 rvc使用してテキスト出力を変換する新しいオプションがあります。これを使用する前に、RVC またはオンラインから取得したトレーニング済みのRVC .pth ファイルが必要になり、それをmodels/rvc_models/に配置する必要があります。 .index ファイルと .pth ファイルの両方をここに配置すると、それぞれのドロップダウン メニューに正しく表示されます。

RVC を有効にするには:

1. Show Experimental Settingsにチェックを入れて有効にすると、さらにオプションが表示されます
2. Run the outputter audio through RVCチェックして有効にします。これで、使用している RVC 音声モデルに合わせて RVC で調整できるパラメータにアクセスできるようになります。

インストールを更新する

最新のアップデートに合わせてパッケージを更新する方法は以下のとおりです

窓

注:大きな機能変更がある場合は、最新リリースをチェックして、 update_package.batが機能するかどうかを確認してください。そうでない場合は、Hugging Face からパッケージを再ダウンロードして再抽出する必要があります。

1. update_package.batファイルを実行します。
   • リポジトリのクローンを作成し、src フォルダーをリポジトリからパッケージにコピーします。

代替の手動インストール

フォルダーに移動して、リポジトリを取得して更新できるはずです。

 cd ai-voice-cloning
git pull

大規模な機能が追加されている場合は、venv を削除し、setup-cuda スクリプトを再実行して、パッケージに問題がないことを確認する必要がある場合があります。

Docker経由のLinux

フォルダーに移動してリポジトリを取得して更新し、Docker イメージを再構築できるはずです。

 cd ai-voice-cloning
git pull
./setup-docker.sh

ドキュメント

手動インストールのトラブルシューティング

端末はあなたの友達です。実行しようとすると、エラーや問題がターミナルにポップアップ表示され、そこからデバッグを開始できます。

• プロセスのどこかでトーチが故障した場合、再インストールが必要になる場合があります。次のようにアンインストールしてから再インストールする必要があります。削除を確認するには、必ず (Y) を入力してください。

 .venvScriptsactivate.bat
pip uninstall torch
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

バグ報告

問題が発生した場合は、[問題] タブで新しい問題を開いてください。

開発者向けのヒント

setup-cuda.batパッケージのインストールに必要なものがすべて含まれている必要があります。さまざまな要件ファイルがあるため、スクリプトはかなり混乱しますが、各リポジトリにはそれぞれの要件がインストールされており、最後に、バージョンをこのリポジトリと互換性のあるバージョンに戻すためにルートにあるrequirements.txtが必要になります。