ComfyUI MuseTalk_FSH

ComfyUI-MuseTalk_FSH

o nó personalizado confortável do MuseTalk para fazer vídeos com áudio!

Como usar

certifique-se de que ffmpeg esteja funcionando em sua linha de comando para Linux

 apt update
apt install ffmpeg

para Windows, você pode instalar ffmpeg pelo WingetUI automaticamente

então!

 git clone https://github.com/AIFSH/ComfyUI-MuseTalk_FSH.git
cd ComfyUI-MuseTalk_FSH
pip install -r requirements.txt

pacotes mmlab

pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install " mmcv>=2.0.1 " 
mim install " mmdet>=3.1.0 " 
mim install " mmpose>=1.1.0 " 

Baixar pesos

Você pode baixar pesos manualmente da seguinte forma:

1. Baixe nossos pesos treinados.

2. Baixe os pesos de outros componentes:

   • sd-vae-ft-mse
   • sussurrar
   • dwpose
   • face-parse-bisent
   • resnet18

Baixe MuseTalk.zip, acesse ComfyUI-MuseTalk_FSH/models/目录

Por fim, esses pesos deverão ser organizados em models da seguinte forma:

 ComfyUI-MuseTalk_FSH/models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt

Tutorial

• Demonstração em 3060 12GB
• Demonstração em 4090 24 GB

Grupo WeChat e Doação

Obrigado

• MuseTalk