ComfyUI MuseTalk_FSH

ComfyUI-MuseTalk_FSH

удобный пользовательский узел MuseTalk для создания видео со звуком!

Как использовать

убедитесь, что ffmpeg работает в вашей командной строке для Linux

 apt update
apt install ffmpeg

для Windows вы можете установить ffmpeg с помощью WingetUI автоматически

затем!

 git clone https://github.com/AIFSH/ComfyUI-MuseTalk_FSH.git
cd ComfyUI-MuseTalk_FSH
pip install -r requirements.txt

пакеты ммлаб

pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install " mmcv>=2.0.1 " 
mim install " mmdet>=3.1.0 " 
mim install " mmpose>=1.1.0 " 

Скачать веса

Вы можете загрузить веса вручную следующим образом:

1. Загрузите наши тренированные веса.

2. Загрузите массы остальных компонентов:

   • SD-VAE-FT-MSE
   • шепот
   • dwpose
   • лицо-разбор-бисент
   • resnet18

Загрузите MuseTalk.zip, добавьте файл ComfyUI-MuseTalk_FSH/models/目录.

Наконец, эти веса должны быть организованы в models следующим образом:

 ComfyUI-MuseTalk_FSH/models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt

Учебное пособие

• Демо на 3060 12Гб
• Демо на 4090 24ГБ

Группа WeChat && Пожертвовать

Спасибо

• MuseTalk