ComfyUI-MuseTalk_FSH

โหนดที่กำหนดเองที่แสนสบายของ MuseTalk เพื่อสร้างวิดีโอที่ขับเคลื่อนด้วยเสียง!

วิธีใช้

ตรวจสอบให้แน่ใจว่า ffmpeg ทำงานใน commandline ของคุณสำหรับ Linux

 apt update
apt install ffmpeg

สำหรับ Windows คุณสามารถติดตั้ง ffmpeg โดย WingetUI ได้โดยอัตโนมัติ

แล้ว!

 git clone https://github.com/AIFSH/ComfyUI-MuseTalk_FSH.git
cd ComfyUI-MuseTalk_FSH
pip install -r requirements.txt

แพ็คเกจ mmlab

=2.0.1" mim install "mmdet>=3.1.0" mim install "mmpose>=1.1.0" ">

pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install " mmcv>=2.0.1 " 
mim install " mmdet>=3.1.0 " 
mim install " mmpose>=1.1.0 "

ดาวน์โหลดตุ้มน้ำหนัก

คุณสามารถดาวน์โหลดตุ้มน้ำหนักได้ด้วยตนเองดังนี้:

ดาวน์โหลดตุ้มน้ำหนักที่ผ่านการฝึกอบรมของเรา
ดาวน์โหลดน้ำหนักของส่วนประกอบอื่นๆ:
- sd-vae-ft-mse
- กระซิบ
- ทิ้งไป
- ใบหน้าแยกวิเคราะห์ bisent
- รีเซ็ต18

或者下载MuseTalk.zip，解压后把子文件夹放入ComfyUI-MuseTalk_FSH/models/目录

สุดท้ายนี้ ควรจัดน้ำหนักเหล่านี้ให้เป็น models จำลองดังนี้

 ComfyUI-MuseTalk_FSH/models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt