UI-MuseTalk_FSH yang Nyaman

simpul khusus MuseTalk yang nyaman untuk membuat video berbasis audio!

Cara menggunakan

pastikan ffmpeg berfungsi di baris perintah Anda untuk Linux

 apt update
apt install ffmpeg

untuk Windows, Anda dapat menginstal ffmpeg oleh WingetUI secara otomatis

Kemudian!

 git clone https://github.com/AIFSH/ComfyUI-MuseTalk_FSH.git
cd ComfyUI-MuseTalk_FSH
pip install -r requirements.txt

paket mmlab

=2.0.1" mim install "mmdet>=3.1.0" mim install "mmpose>=1.1.0" ">

pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install " mmcv>=2.0.1 " 
mim install " mmdet>=3.1.0 " 
mim install " mmpose>=1.1.0 "

Unduh beban

Anda dapat mengunduh bobot secara manual sebagai berikut:

Unduh beban terlatih kami.
Unduh bobot komponen lainnya:
- sd-vae-ft-mse
- berbisik
- dwpose
- wajah-parse-bisent
- resnet18

Menggunakan MuseTalk.zip, menggunakan ComfyUI-MuseTalk_FSH/models/目录

Terakhir, bobot ini harus disusun dalam models sebagai berikut:

 ComfyUI-MuseTalk_FSH/models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt