オーディオ主導のビデオを作成するための MuseTalk の快適なカスタム ノード!
Linux のコマンドラインでffmpegが機能することを確認してください
apt update
apt install ffmpeg
Windows の場合、WingetUI によってffmpeg自動的にインストールできます
それから！
git clone https://github.com/AIFSH/ComfyUI-MuseTalk_FSH.git
cd ComfyUI-MuseTalk_FSH
pip install -r requirements.txt
pip install --no-cache-dir -U openmim
mim install mmengine
mim install " mmcv>=2.0.1 "
mim install " mmdet>=3.1.0 "
mim install " mmpose>=1.1.0 " 次のようにして重みを手動でダウンロードできます。
トレーニング済みのウェイトをダウンロードしてください。
他のコンポーネントの重みをダウンロードします。
あるいはMuseTalk.zipをダウンロード、解压後ハンドル子文件夹放入ComfyUI-MuseTalk_FSH/models/目录
最後に、これらの重みは次のようにmodelsに編成する必要があります。
ComfyUI-MuseTalk_FSH/models/
├── musetalk
│ └── musetalk.json
│ └── pytorch_model.bin
├── dwpose
│ └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│ ├── 79999_iter.pth
│ └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│ ├── config.json
│ └── diffusion_pytorch_model.bin
└── whisper
└── tiny.pt
