検索ベースの音声変換WebUI

検索ベースの音声変換WebUI

VITS に基づいたシンプルで使いやすい音声変更フレームワーク

更新ログ| AutoDL・5 セントで AI 歌手を育成するオンラインデモ|

English |中文简体|日本語| 한국어 (韓国語) |

基本モデルは、約 50 時間のオープンソースの高品質 VCTK トレーニング セットを使用してトレーニングされています。著作権に関する懸念はありません。

RVCv3 の最下位モデルにご期待ください。このモデルは、より大きなパラメータ、より大きなデータ、より良い結果を持ち、基本的に同じ推論速度で、より少ないトレーニング データを必要とします。

トレーニング推論インターフェイス	リアルタイム音声変更インターフェース
go-web.bat	go-realtime-gui.bat
何をしたいかは自由に選択できます。	エンドツーエンドのレイテンシー 170ms を達成しました。 ASIO 入出力デバイスを使用すると、エンドツーエンドで 90 ミリ秒の遅延を達成できますが、これはハードウェア ドライバーのサポートに大きく依存します。

導入

この倉庫には以下のような特徴があります

• トップ 1 検索を使用して入力ソースの特徴をトレーニング セットの特徴に置き換え、音色漏れを防ぎます

• 比較的性能の悪いグラフィックス カードでも高速トレーニング

• トレーニングに少量のデータを使用すると、より良い結果が得られる場合もあります (少なくとも 10 分間の低ノイズ音声データを収集することをお勧めします)。

• 音色はモデルフュージョンを通じて変更できます (ckpt 処理タブの ckpt-merge を使用)

• シンプルで使いやすいWebインターフェース

• UVR5モデルを呼び出してボーカルと伴奏を素早く分離可能

• 最先端の人声ピッチ抽出アルゴリズム InterSpeech2023-RMVPE を使用し、音がミュートになる問題を解消します。 (大幅に) 最良の動作をしますが、crepe_full よりも高速で小さいです

• AカードIカード加速サポート

ここをクリックしてデモビデオをご覧ください。

環境構成

次の手順は、Python バージョン 3.8 以降の環境で実行する必要があります。

Windows/Linux/MacOS およびその他のプラットフォームの一般的な方法

次のいずれかの方法を選択します。

1. pip を介して依存関係をインストールする

1. Pytorch とそのコアの依存関係をインストールします。すでにインストールされている場合はスキップしてください。参照元: https://pytorch.org/get-started/locally/

 pip インストール トーチ torchvision torchaudio

2. winシステム+Nvidia Ampereアーキテクチャ(RTX30xx)の場合、#21の経験によれば、pytorchに対応したcudaバージョンを指定する必要があります

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

3. 独自のグラフィックス カードに応じて、対応する依存関係をインストールします。

• Nカード

pip install -r 要件.txt

• Aカード/Iカード

pip install -r 要件-dml.txt

• カード ROCM (Linux)

 pip install -r 要件-amd.txt

• アイカードIPEX(Linux)

 pip install -r 要件-ipex.txt

2. 詩を通じて依存関係をインストールする

Poetry 依存関係管理ツールをインストールします。すでにインストールされている場合はスキップします。参照元: https://python-poetry.org/docs/#installation

カール -sSL https://install.python-poetry.org -

Poetry を通じて依存関係をインストールする場合、Python ではバージョン 3.7 ～ 3.10 を使用することをお勧めします。llvmlite==0.39.0 をインストールすると他のバージョンと競合します。

詩の初期化 -n
詩の環境では、「python.exe へのパス」を使用します。詩の実行 pip install -rrequirements.txt

MacOS

依存関係はrun.shを通じてインストールできます。

 sh ./run.sh

その他のモデルの事前準備

RVC では、推論とトレーニングのために他のいくつかの事前モデルが必要です。

これらのモデルは、Hugging Face スペースからダウンロードできます。

1. アセットをダウンロードする

以下は、RVC に必要なすべてのプレモデルとその他のファイルの名前のリストです。ダウンロードするスクリプトはtoolsフォルダーにあります。

• ./assets/hubert/hubert_base.pt

• ./assets/事前トレーニング済み

• ./assets/uvr5_weights

v2版モデルを利用したい場合は追加でダウンロードする必要があります。

• ./assets/pretrained_v2

2.ffmpegをインストールする

ffmpeg と ffprobe がすでにインストールされている場合は、スキップしてください。

Ubuntu/Debian ユーザー

sudo apt install ffmpeg

MacOSユーザー

ffmpegを醸造インストールする

Windowsユーザー

ダウンロード後、ルートディレクトリに置きます。

• ffmpeg.exeをダウンロード

• ffprobe.exeをダウンロード

3. rmvpe ボーカルピッチ抽出アルゴリズムに必要なファイルをダウンロードします。

最新の RMVPE ボーカル ピッチ抽出アルゴリズムを使用する場合は、ピッチ抽出モデル パラメータをダウンロードし、RVC ルート ディレクトリに配置する必要があります。

• ダウンロードrmvpe.pt

rmvpeのdml環境をダウンロード（オプション、Aカード/Iカードユーザー）

• ダウンロードrmvpe.onnx

4. AMD グラフィックス カード Rocm (オプション、Linux のみ)

AMD の Rocm テクノロジーに基づいた Linux システム上で RVC を実行する場合は、まずここで必要なドライバーをインストールしてください。

Arch Linux を使用している場合は、pacman を使用して必要なドライバーをインストールできます。

pacman -S rocm-hip-sdk rocm-opencl-sdk

グラフィックス カードの一部のモデルでは、次の環境変数を追加で構成する必要がある場合があります (例: RX6700XT)。

export ROCM_PATH=/opt/rocm
export HSA_OVERRIDE_GFX_VERSION=10.3.0

また、現在のユーザーがrenderグループとvideoユーザー グループに属していることを確認してください。

sudo usermod -aG render $USERNAME
sudo usermod -aG video $USERNAME

始めましょう

ダイレクトスタート

次のコマンドを使用して WebUI を起動します

Python infer-web.py

以前に Poetry を使用して依存関係をインストールした場合は、次の方法で WebUI を起動できます。

 Python infer-web.pyで詩を実行します

統合パッケージを使用する

RVC-beta.7zダウンロードして解凍します。

Windowsユーザー

go-web.batダブルクリックします

MacOSユーザー

sh ./run.sh

IPEX テクノロジーを使用する必要がある I-card ユーザー向け (Linux のみ)

ソース/opt/intel/oneapi/setvars.sh