WebUI de conversão de voz baseada em recuperação

WebUI de conversão de voz baseada em recuperação

Uma estrutura de mudança de voz simples e fácil de usar baseada em VITS

Registro de atualização | FAQ | AutoDL·5 centavos para treinar cantor de IA |

Inglês |中文简体|日本语| 한국어 ( Coreano ) |

O modelo básico é treinado usando quase 50 horas de conjunto de treinamento VCTK de código aberto e de alta qualidade. Não há preocupações com direitos autorais.

Aguarde o modelo inferior do RVCv3, que possui parâmetros maiores, dados maiores, melhores resultados, basicamente a mesma velocidade de inferência e requer menos dados de treinamento.

Interface de inferência de treinamento	Interface de mudança de voz em tempo real
go-web.bat	go-realtime-gui.bat
Você é livre para escolher o que deseja fazer.	Alcançamos uma latência ponta a ponta de 170ms. Se você usar dispositivos de entrada e saída ASIO, poderá obter latência ponta a ponta de 90 ms, mas isso depende muito do suporte de driver de hardware.

Introdução

Este armazém tem as seguintes características

• Use a pesquisa top1 para substituir recursos de fonte de entrada por recursos de conjunto de treinamento para evitar vazamento de timbre

• Treinamento rápido mesmo em placas gráficas relativamente ruins

• Usar uma pequena quantidade de dados para treinamento também pode produzir melhores resultados (recomenda-se coletar pelo menos 10 minutos de dados de fala de baixo ruído)

• O timbre pode ser alterado através da fusão de modelos (com a ajuda do ckpt-merge na aba de processamento do ckpt)

• Interface web simples e fácil de usar

• O modelo UVR5 pode ser chamado para separar rapidamente vocais e acompanhamento

• Use o algoritmo de extração de tom de voz humana mais avançado InterSpeech2023-RMVPE para eliminar o problema de sons mudos. Funciona melhor (significativamente), mas é mais rápido e menor que crepe_full

• Um cartão com suporte para aceleração de cartão

Clique aqui para ver nosso vídeo de demonstração!

Configuração do ambiente

As instruções a seguir precisam ser executadas em um ambiente com versão Python superior a 3.8.

Métodos comuns para Windows/Linux/MacOS e outras plataformas

Escolha um dos seguintes métodos.

1. Instale dependências através do pip

1. Instale o Pytorch e suas dependências principais, pule se já estiver instalado. Referência de: https://pytorch.org/get-started/locally/

 pip instalar tocha torchvision torchaudio

2. Se for um sistema win + arquitetura Nvidia Ampere (RTX30xx), de acordo com a experiência do item 21, você precisa especificar a versão cuda correspondente ao pytorch

 pip instalar tocha torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

3. Instale as dependências correspondentes de acordo com sua própria placa gráfica

• Cartão N

 pip instalar -r requisitos.txt

• Um cartão/cartão I

 pip install -r requisitos-dml.txt

• Um cartão ROCM (Linux)

 pip install -r requisitos-amd.txt

• Cartão IIPEX (Linux)

 pip install -r requisitos-ipex.txt

2. Instale dependências através da poesia

Instale a ferramenta de gerenciamento de dependências Poetry, pule se já estiver instalada. Referência de: https://python-poetry.org/docs/#installation

 curl -sSL https://install.python-poetry.org |

Ao instalar dependências através do Poetry, recomenda-se que o python use as versões 3.7-3.10. Outras versões entrarão em conflito ao instalar llvmlite==0.39.0.

 poesia iniciar -n
poesia env use "caminho para seu python.exe" poesia execute pip install -r requisitos.txt

Mac OS

As dependências podem ser instaladas através de run.sh

 sh./run.sh

Outra preparação pré-modelo

O RVC requer alguns outros pré-modelos para inferência e treinamento.

Você pode baixar esses modelos em nosso espaço Hugging Face.

1. Baixe ativos

Abaixo está uma lista com os nomes de todos os pré-modelos e outros arquivos necessários para RVC. Você pode encontrar os scripts para baixá-los na pasta de tools .

• ./assets/hubert/hubert_base.pt

• ./assets/pré-treinado

• ./assets/uvr5_weights

Se quiser usar o modelo da versão v2, você precisará baixá-lo adicionalmente.

• ./assets/pretrained_v2

2. Instale o ffmpeg

Se o ffmpeg e o ffprobe já estiverem instalados, ignore-os.

Usuários Ubuntu/Debian

 sudo apto instalar ffmpeg

Usuários MacOS

 preparar instalar ffmpeg

Usuários do Windows

Após o download, coloque-o no diretório raiz.

• Baixar ffmpeg.exe

• Baixar ffprobe.exe

3. Baixe os arquivos necessários para o algoritmo de extração de tom vocal rmvpe

Se quiser usar o algoritmo de extração de afinação vocal RMVPE mais recente, você precisará baixar os parâmetros do modelo de extração de afinação e colocá-los no diretório raiz do RVC.

• downloadrmvpe.pt

Baixe o ambiente dml do rmvpe (opcional, usuários de cartão A/cartão I)

• Baixarrmvpe.onnx

4. Placa gráfica AMD Rocm (opcional, somente Linux)

Se você deseja executar o RVC em um sistema Linux baseado na tecnologia Rocm da AMD, instale primeiro os drivers necessários aqui.

Se você estiver usando Arch Linux, você pode usar o pacman para instalar os drivers necessários:

pacman -S rocm-hip-sdk rocm-opencl-sdk

Para alguns modelos de placas gráficas, pode ser necessário configurar adicionalmente as seguintes variáveis ​​de ambiente (por exemplo: RX6700XT):

export ROCM_PATH=/opt/rocm
export HSA_OVERRIDE_GFX_VERSION=10.3.0

Certifique-se também de que seu usuário atual esteja nos grupos de usuários render e video :

sudo usermod -aG render $USERNAME
sudo usermod -aG video $USERNAME

Comece

início direto

Use o seguinte comando para iniciar o WebUI

 python infer-web.py

Se você usou Poetry anteriormente para instalar dependências, você pode iniciar o WebUI da seguinte maneira

 poesia execute python infer-web.py

Use pacotes de integração

Baixe e descompacte RVC-beta.7z

Usuários do Windows

Clique duas vezes go-web.bat

Usuários MacOS

 sh./run.sh

Para usuários de I-card que precisam usar a tecnologia IPEX (somente Linux)

 fonte /opt/intel/oneapi/setvars.sh