ComfyUI InstantID (การสนับสนุนแบบเนทีฟ)

การแปล

简体中文 (จีนตัวย่อ)

รองรับ Native InstantID สำหรับ ComfyUI

ส่วนขยายนี้แตกต่างจากส่วนขยายที่มีอยู่แล้ว เนื่องจากไม่ได้ใช้ ตัวกระจาย แต่ใช้ InstantID แทน และผสานรวมกับ ComfyUI อย่างสมบูรณ์

สปอนเซอร์

ผู้สนับสนุน Github | - เพย์พาล

หากคุณชอบงานของฉันและต้องการเห็นการอัปเดตและคุณสมบัติใหม่ ๆ โปรดพิจารณาสนับสนุนโครงการของฉัน

ComfyUI IPAdapter Plus
ComfyUI InstantID (เนทิฟ)
สิ่งจำเป็นสำหรับ ComfyUI
การวิเคราะห์ใบหน้า ComfyUI

ไม่ต้องพูดถึงเอกสารและวิดีโอบทช่วยสอน ตรวจสอบวิดีโอ ความเข้าใจขั้นสูง ComfyUI ของฉันบน YouTube เช่น ตอนที่ 1 และตอนที่ 2

วิธีเดียวที่จะทำให้โค้ดเปิดและฟรีก็คือการสนับสนุนการพัฒนา ยิ่งมีผู้สนับสนุนมากเท่าไร ฉันก็ยิ่งมีเวลาทุ่มเทให้กับโครงการโอเพ่นซอร์สมากขึ้นเท่านั้น

โปรดพิจารณาการสนับสนุน Github หรือการบริจาคผ่าน PayPal (Matteo "matt3o" Spinelli) สำหรับการสนับสนุนมูลค่า $50+ โปรดแจ้งให้เราทราบหากคุณต้องการให้พูดถึงในไฟล์ Readme นี้ คุณสามารถหาฉันได้ที่ Discord หรือ matt3o gmail.com

การอัปเดตที่สำคัญ

27/02/2024: เพิ่มการแทรกสัญญาณรบกวนในการฝังแบบเนกาทีฟ
26/02/2024: แก้ไขข้อผิดพลาดเล็กๆ น้อยๆ แต่น่ารังเกียจ ผลลัพธ์จะแตกต่างออกไป และคุณอาจต้องลด CFG ลง
20/02/2024: ฉันปรับโครงสร้างโหนดใหม่เพื่อให้ใช้งานได้ง่ายขึ้น นี่เป็นการอัปเดตด่วน ขั้น ตอนการทำงานก่อนหน้านี้จะไม่ทำงานอีกต่อไป

ขั้นตอนการทำงานขั้นพื้นฐาน

ในไดเร็กทอรี examples คุณจะพบขั้นตอนการทำงานพื้นฐานบางอย่าง

วิดีโอสอน

** ข้อมูลเบื้องต้นเกี่ยวกับคุณสมบัติ InstantID **

การติดตั้ง

อัปเกรด ComfyUI เป็นเวอร์ชันล่าสุด!

ดาวน์โหลดหรือ git clone ที่เก็บนี้ลงในไดเร็กทอรี ComfyUI/custom_nodes/ หรือใช้ Manager

InstantID ต้องใช้ insightface คุณต้องเพิ่มลงในไลบรารีของคุณพร้อมกับ onnxruntime และ onnxruntime-gpu

โมเดล InsightFace คือ antelopev2 (ไม่ใช่ classic buffalo_l) ดาวน์โหลดโมเดล (เช่น จากที่นี่หรือที่นี่) แตกไฟล์และวางลงในไดเร็กทอรี ComfyUI/models/insightface/models/antelopev2

สามารถดาวน์โหลด โมเดลหลัก ได้จาก HuggingFace และควรวางไว้ในไดเร็กทอรี ComfyUI/models/instantid (โปรดทราบว่าโมเดลนี้เรียกว่า ip_adapter เนื่องจากอิงตาม IPAdapter)

คุณต้องมี controlnet ด้วย โดยวางไว้ในไดเร็กทอรี ComfyUI controlnet

โปรดจำไว้ว่าในขณะนี้มีไว้สำหรับ SDXL เท่านั้น

ลายน้ำ!

ข้อมูลการฝึกอบรมเต็มไปด้วยลายน้ำ เพื่อหลีกเลี่ยงไม่ให้ปรากฏในรุ่นของคุณ ให้ใช้ความละเอียดที่แตกต่างจาก 1024×1024 เล็กน้อย (หรือแบบมาตรฐาน) เช่น 1016×1016 ใช้งานได้ค่อนข้างดี

ลด CFG!

สิ่งสำคัญคือต้องลด CFG ลงเหลืออย่างน้อย 4/5 หรือคุณสามารถใช้โหนด RescaleCFG ได้

จุดสำคัญบนใบหน้า

บุคคลนั้นจะถูกจัดวางตามจุดสำคัญที่สร้างจากรูปภาพอ้างอิง คุณสามารถใช้ท่าทางอื่นได้โดยส่งภาพไปยังอินพุต image_kps

การฉีดเสียงรบกวน

การใช้งาน InstantID เริ่มต้นดูเหมือนจะทำให้ภาพเสียหายจริงๆ ฉันพบว่าการเพิ่มสัญญาณรบกวนให้กับการฝังเชิงลบทำให้เราสามารถลดผลกระทบและเพิ่มความน่าจะเป็นในการอ้างอิงได้ โหนด Apply InstantID ตามค่าเริ่มต้นจะแทรกสัญญาณรบกวน 35% โดยอัตโนมัติ หากคุณต้องการปรับแต่งเอฟเฟกต์อย่างละเอียด คุณสามารถใช้โหนด Advanced InstantID ได้

สิ่งนี้ยังอยู่ในช่วงทดลองและอาจมีการเปลี่ยนแปลงในอนาคต

คอนโทรลเน็ตเพิ่มเติม

คุณสามารถเพิ่ม controlnets ให้กับรุ่นได้มากขึ้น มีตัวอย่างขั้นตอนการทำงานสำหรับเครือข่ายควบคุมเชิงลึกไว้

จัดแต่งทรงผมด้วย IPAdapter

คุณสามารถจัดสไตล์องค์ประกอบด้วย IPAdapter มีตัวอย่างให้มาด้วย

หลาย ID

รองรับ Multi-ID แต่ขั้นตอนการทำงานค่อนข้างซับซ้อนและการสร้างช้าลง ฉันจะตรวจสอบว่าฉันสามารถหาวิธีที่ดีกว่านี้ได้หรือไม่ ขั้นตอนการทำงาน "แฮ็ก" มีอยู่ในไดเร็กทอรีตัวอย่าง

โหนดขั้นสูง

มีโหนดขั้นสูง InstantID ในขณะนี้ ข้อแตกต่างเพียงอย่างเดียวกับโหนดมาตรฐานคือ คุณสามารถตั้งค่าน้ำหนักสำหรับรุ่น InstantID และ Controlnet แยกกันได้ ตอนนี้ยังมีตัวเลือกการฉีดเสียงรบกวนด้วย มันอาจเป็นประโยชน์สำหรับการปรับแต่ง

โมเดล InstantID มีอิทธิพลต่อองค์ประกอบประมาณ 25% ส่วนที่เหลือเป็นคอนโทรลเน็ต

เสียงรบกวนช่วยลดผลกระทบจาก "การเผาไหม้"

หมายเหตุอื่น ๆ

มันทำงานได้ดีมากกับ SDXL Turbo/Lighting ผลลัพธ์ดีที่สุดด้วยด่านตรวจชุมชน

ผู้สนับสนุนปัจจุบัน

ขอขอบคุณผู้สนับสนุนใจดีเท่านั้นที่ทำให้ ทั้งชุมชน สามารถเพลิดเพลินกับซอฟต์แวร์แบบเปิดและฟรีได้ โปรดร่วมแสดงความขอบคุณบริษัทและบุคคลต่อไปนี้กับฉันด้วย!