ai voice cloning

AI語音克隆

請注意，我不打算積極致力於此專案的改進/增強，這主要是為了在原始 git.ecker 出現故障或需要進行必要的套件變更的情況下將儲存庫保持在工作狀態。

話雖如此，與原始儲存庫相比，添加了一些增強功能：

✔️ 可以用其他語言進行培訓

✔️ 添加了 Hifigan，可以以犧牲品質為代價實現更快的推理。

✔️ 新增 Whisper-v3 作為 Whisperx 的可選選項

✔️ 使用 RVC 進行輸出轉換

這是最初位於此處的儲存庫的分支：https://git.ecker.tech/mrq/ai-voice-cloning。所有將 DLAS 訓練和 Tortoise 推理相結合的工作都屬於 mrq，他是原始 ai-voice-cloning 儲存庫的作者。

設定

此儲存庫適用於具有 NVIDIA GPU 的 Windows和執行具有 NVIDIA GPU 的 Docker 的 Linux 。

Windows 軟體包（建議）

1. 可選，但建議：在電腦上安裝 7zip：https://www.7-zip.org/
   • 如果您遇到任何提取問題，很可能是由於您的 7zip 已過時或您正在使用不同的提取器。
2. 前往發布標籤並下載 Hugging Face 上的最新軟體包：https://github.com/JarodMica/ai-voice-cloning/releases/tag/v3.0
3. 解壓縮 7zip 檔案。
4. 開啟 ai-voice-cloning 然後執行start.bat

替代手動安裝

如果您手動安裝，您將需要：

• Python 3.11：https://www.python.org/downloads/release/python-311/
• Git：https://www.git-scm.com/downloads

1. 克隆儲存庫

 git clone https://github.com/JarodMica/ai-voice-cloning.git

2. 運行setup-cuda.bat文件，它將開始運行所需的所有 python 套件
   • 如果你沒有 python 3.11，它將無法運作，你需要去下載它
3. 完成後，執行start.bat ，這將開始下載您需要的大部分模型。
   • 有些模型是在您第一次使用時下載的。在生成期間和訓練時（用於耳語），您將需要額外的下載。但是，一旦完成，只要不刪除它們，您就不必再次下載它們。它們位於根目錄的models資料夾中。
4. （可選）您可以選擇透過執行setup-whipserx.bat安裝 Whipserx 進行訓練
   • 查看 Whisperx github 頁面以了解更多詳細信息，但對於較長的音訊檔案來說速度要快得多。如果您正在使用已分割的資料集進行逐一處理，則速度不會提高太多。

適用於 Linux（或 WSL2）的 Docker

Linux 特定設定

1. 確保安裝了最新的 nvidia 驅動程式： sudo ubuntu-drivers install

2. 按照您喜歡的方式安裝 Docker。一種方法是遵循此處的官方文件。

   • 首先卸載舊版本
   • 遵循“apt”存儲庫安裝方法
   • 檢查“hello-world”容器是否一切正常

3. 如果在啟動語音複製 docker 時出現錯誤訊息，提示無法使用 GPU，則可能需要安裝 Nvidia Docker Container Toolkit。

   • 使用“apt”方法安裝

   • 運行docker配置命令

     sudo nvidia-ctk runtime configure --runtime=docker

   • 重啟docker

Windows 特定設定

確保您的 Nvidia 驅動程式是最新的：https://www.nvidia.com/download/index.aspx

1. 使用wsl --install並重新啟動在 PowerShell 中安裝 WSL2
2. 開啟 PowerShell，鍵入並輸入ubuntu 。現在應該將您加載到 wsl2
3. 刪除原廠的 nvidia 快取金鑰： sudo apt-key del 7fa2af80
4. 下載 CUDA 工具包金鑰環： wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-keyring_1.1-1_all.deb
5. 安裝金鑰環： sudo dpkg -i cuda-keyring_1.1-1_all.deb
6. 更新包列表： sudo apt-get update
7. 安裝 CUDA 工具包： sudo apt-get -y install cuda-toolkit-12-4
8. 使用 WSL2 作為後端安裝 Docker Desktop
9. 重新啟動
10. 如果您希望透過 SSH 遠端監控終端，請遵循本指南。
11. 開啟 PowerShell，輸入ubuntu ，然後依照下列步驟操作

在 Docker 中建置和運行

1. 開啟終端機（或 Ubuntu WSL）
2. 複製儲存庫： git clone https://github.com/JarodMica/ai-voice-cloning.git && cd ai-voice-cloning
3. 使用./setup-docker.sh建置映像
4. 使用./start-docker.sh啟動容器
5. 訪問http://localhost:7860或使用http://<ip>:7860遠端訪問

如果無法存取遠端伺服器，請查看此線程

您可能還需要將本機資料夾重新對應到 Docker 資料夾。為此，您必須開啟“start-docker.sh”腳本，並更新一些行。例如，如果您想輕鬆找到生成的音頻，請在根目錄中建立一個“results”資料夾，然後在“start-docker.sh”中添加以下行：

-v "your/custom/path:/home/user/ai-voice-cloning/results"

指示

查看 YouTube 影片：

首先觀看：https://youtu.be/WWhNqJEmF9M?si=RhUZhYersAvSZ4wf

第二次觀看（RVC 更新）：https://www.youtube.com/watch?v=7tpWH8_S8es&t=504s

如果您過去使用過此儲存庫，一切都與以前幾乎相同，但是，有一個新選項可以使用rvc轉換文字輸出。在使用它之前，您需要從 RVC 或在線獲取經過訓練的RVC .pth 文件，然後需要將其放置在models/rvc_models/中。 .index 和 .pth 檔案都可以放置在此處，它們將在各自的下拉式選單中正確顯示。

啟用 rvc：

1. 選取並啟用Show Experimental Settings以顯示更多選項
2. 檢查並啟用Run the outputter audio through RVC 。現在您可以存取可在 RVC 中針對您正在使用的 RVC 語音模型進行調整的參數。

更新您的安裝

以下是如何更新軟體包以獲取最新更新

視窗

注意：如果有重大功能更改，請檢查最新版本以查看update_package.bat是否有效。如果沒有，您將需要從 Hugging Face 重新下載並重新解壓縮軟體包。

1. 運行update_package.bat文件
   • 它將克隆存儲庫並將 src 資料夾從存儲庫複製到包中。

替代手動安裝

您應該能夠導航到該資料夾，然後拉取儲存庫來更新它。

 cd ai-voice-cloning
git pull

如果新增了大型功能，您可能需要刪除 venv 並重新執行 setup-cuda 腳本以確保不存在軟體包問題

透過 Docker 實現 Linux

您應該能夠導航到該資料夾，然後拉取儲存庫來更新它，然後重建您的 Docker 映像。

 cd ai-voice-cloning
git pull
./setup-docker.sh

文件

手動安裝故障排除

終端是你的朋友。當您嘗試運行時，任何錯誤或問題都會在終端中彈出，然後您可以從那裡開始偵錯。

• 如果在此過程中的某個地方，Torch 出現問題，您可能需要重新安裝它。您必須將其卸載，然後重新安裝，如下所示。請務必鍵入 (Y) 以確認刪除。

 .venvScriptsactivate.bat
pip uninstall torch
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

錯誤報告

如果您遇到任何問題，請在問題標籤上開啟新問題。

給開發者的建議

setup-cuda.bat應該包含安裝軟體包所需的一切。所有不同的需求檔案使得腳本中變得非常混亂，但是每個儲存庫都安裝了它們的需求，最後，需要根目錄中的requirements.txt將版本變更回該儲存庫的相容版本。