ComfyUI-MuseTalk_FSH

오디오 중심의 비디오를 만들 수 있는 MuseTalk의 편안한 커스텀 노드!

사용방법

Linux용 명령줄에서 ffmpeg 작동하는지 확인하세요.

 apt update
apt install ffmpeg

Windows의 경우 WingetUI를 통해 자동으로 ffmpeg 설치할 수 있습니다.

그 다음에!

 git clone https://github.com/AIFSH/ComfyUI-MuseTalk_FSH.git
cd ComfyUI-MuseTalk_FSH
pip install -r requirements.txt

mmlab 패키지

=2.0.1" mim install "mmdet>=3.1.0" mim install "mmpose>=1.1.0" ">

pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install " mmcv>=2.0.1 " 
mim install " mmdet>=3.1.0 " 
mim install " mmpose>=1.1.0 "

가중치 다운로드

다음과 같이 가중치를 수동으로 다운로드할 수 있습니다.

훈련된 가중치를 다운로드하세요.
다른 구성요소의 가중치를 다운로드하세요.
- sd-vae-ft-mse
- 속삭임
- dwpose
- 얼굴 분석 비센트
- resnet18

或者下载MuseTalk.zip，解压后把子文件夹放入ComfyUI-MuseTalk_FSH/models/目录

마지막으로 이러한 가중치는 다음과 같이 models 에서 구성되어야 합니다.

 ComfyUI-MuseTalk_FSH/models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt