ComfyUI-MuseTalk_FSH

der benutzerdefinierte Comfyui-Knoten von MuseTalk zum Erstellen audiogesteuerter Videos!

Wie zu verwenden

Stellen Sie sicher, dass ffmpeg in Ihrer Befehlszeile für Linux funktioniert

 apt update
apt install ffmpeg

Für Windows können Sie ffmpeg von WingetUI automatisch installieren

Dann!

 git clone https://github.com/AIFSH/ComfyUI-MuseTalk_FSH.git
cd ComfyUI-MuseTalk_FSH
pip install -r requirements.txt

mmlab-Pakete

=2.0.1" mim install "mmdet>=3.1.0" mim install "mmpose>=1.1.0" ">

pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install " mmcv>=2.0.1 " 
mim install " mmdet>=3.1.0 " 
mim install " mmpose>=1.1.0 "

Gewichte herunterladen

Sie können Gewichte wie folgt manuell herunterladen:

Laden Sie unsere trainierten Gewichte herunter.
Laden Sie die Gewichte anderer Komponenten herunter:
- sd-vae-ft-mse
- flüstern
- dwpose
- Face-Parse-Bisent
- resnet18

Laden Sie MuseTalk.zip ComfyUI-MuseTalk_FSH/models/目录

Schließlich sollten diese Gewichte wie folgt in models organisiert werden:

 ComfyUI-MuseTalk_FSH/models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt