ComfyUI LivePortraitKJ

โหนด ComfyUI เพื่อใช้ LivePortrait

อัปเดต 2

เพิ่มเครื่องตรวจจับใบหน้าทางเลือกอื่น: https://github.com/1adrianb/face-alignment

เนื่องจากสามารถใช้กล้องหลังรุ่น Blazeface ได้ (หรือ SFD) จึงเหมาะสำหรับใบหน้าที่เล็กกว่า MediaPipe ซึ่งสามารถใช้ได้เฉพาะรุ่นสั้นของ Blazeface เท่านั้น การวอร์มอัพในการวิ่งครั้งแรกเมื่อใช้สิ่งนี้อาจใช้เวลานาน แต่การวิ่งครั้งต่อไปจะรวดเร็ว

ตัวอย่างการตรวจจับโดยใช้ blazeface_back_camera:

AnimateDiff_00004.34.mp4

อัปเดต

การทำงานซ้ำเกือบทั้งหมดที่อยู่ระหว่างการพัฒนาได้รวมเข้ากับการทำงานหลักแล้ว ซึ่งหมายความว่าเวิร์กโฟลว์เก่าจะไม่ทำงาน แต่ทุกอย่างควรจะเร็วขึ้นและมีฟีเจอร์ใหม่มากมาย เพื่อวัตถุประสงค์ในการสืบทอด สาขาหลักเก่าจะถูกย้ายไปยังสาขาดั้งเดิม

การเปลี่ยนแปลง

• เพิ่ม MediaPipe เป็นทางเลือกแทน Insightface ตอนนี้ทุกอย่างควรอยู่ภายใต้ใบอนุญาต MIT และ Apache-2.0 เมื่อใช้งาน

• Vid2vid ที่เหมาะสมรวมถึงอัลกอริธึมการทำให้เรียบ (ขอบคุณ @melMass)

• ความเร็วและประสิทธิภาพที่ได้รับการปรับปรุง ช่วยให้สามารถดูแบบเรียลไทม์ได้แม้ใน Comfy (ดีเลย์ ~ 80-100ms)

• โหนดที่ปรับโครงสร้างใหม่สำหรับตัวเลือกเพิ่มเติม

• ข้ามเฟรมอัตโนมัติโดยตรวจไม่พบใบหน้า

• อีกหลายอย่างที่ฉันลืมไป ณ จุดนี้มันเยอะมาก

• รองรับ Mac ที่ดีกว่าบน MPS (ขอบคุณ @Grant-CP

อัปเดตเป็นอัปเดตนี้:

• แปลงโมเดลแลนด์มาร์ค runner onnx เป็นโมเดลคบเพลิง ไม่ใช่สิ่งที่ฉันเคยทำมาก่อนและฉันไม่สามารถทำอะไรได้นอกจากสร้างเป็นไฟล์ .pth ดังนั้นคุณแค่ต้องเชื่อใจฉันในเรื่องนี้ ซึ่งช่วยให้รันทั้งหมดนี้ได้โดยไม่ต้อง onnxruntime มันทำงานบน GPU และรวดเร็วพอๆ กัน มีให้ใช้งานบนโหนดครอปเปอร์ MediaPipe เป็นตัวเลือก: เมื่อเลือกแล้ว ระบบจะดาวน์โหลดโดยอัตโนมัติจากที่นี่: https://huggingface.co/Kijai/LivePortrait_safetensors/blob/main/landmark_model.pth

ตัวอย่าง:

เรียลไทม์พร้อมฟีดเว็บแคม:

livePortrait_realtime.mp4

รูปภาพ2วิด:

liveportal_img2vid.mp4

Vid2Vid:

liveportal_vid2vid.mp4

ฉันได้แปลงไฟล์ดองทั้งหมดเป็นเซฟเทนเซอร์แล้ว: https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main

พวกเขาไปที่นี่ (และจะถูกดาวน์โหลดโดยอัตโนมัติหากไม่มีโฟลเดอร์) ComfyUI/models/liveportrait

เครื่องตรวจจับใบหน้า

คุณสามารถใช้ Insightface เริ่มต้นดั้งเดิมหรือ MediaPipe ของ Google ได้

ความแตกต่างที่ใหญ่ที่สุดคือใบอนุญาต: Insightface มีไว้สำหรับการใช้งานที่ไม่ใช่เชิงพาณิชย์อย่างเคร่งครัด MediaPipe ตรวจจับได้แย่กว่าเล็กน้อย และไม่สามารถทำงานบน GPU ใน Windows ได้ แม้ว่าจะเร็วกว่าบน CPU มากเมื่อเทียบกับ Insightface

Insightface จะไม่ถูกติดตั้งโดยอัตโนมัติ หากคุณต้องการใช้งาน ให้ทำตามคำแนะนำเหล่านี้: หากคุณมีสภาพแวดล้อมการคอมไพล์ที่ใช้งานได้ การติดตั้งอาจทำได้ง่ายเพียง:

pip install insightface

หรือสำหรับเวอร์ชันพกพาใน ComfyUI_windows_portable -folder:

python_embeded/python.exe -m pip install insightface

หากล้มเหลว (และเป็นไปได้) คุณสามารถตรวจสอบส่วนการแก้ไขปัญหาของโหนดเครื่องปฏิกรณ์เพื่อดูทางเลือกอื่น:

https://github.com/Gourieff/comfyui-reactor-node

สำหรับโมเดล Insightface ให้แยกสิ่งนี้ไปที่ ComfyUI/models/insightface/buffalo_l :

https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip

โปรดทราบว่าสิทธิ์การใช้งาน Insightface นั้นไม่ใช่เชิงพาณิชย์