การใช้งานอ้างอิง ComfyUI สำหรับรุ่น IPAdapter
IPAdapter เป็นโมเดลที่ทรงพลังมากสำหรับการปรับสภาพภาพต่อภาพ หัวเรื่องหรือแม้แต่สไตล์ของรูปภาพอ้างอิงสามารถถ่ายโอนไปยังรุ่นได้อย่างง่ายดาย คิดว่ามันเป็นลอรา 1 ภาพ
ผู้สนับสนุน Github | เพย์พาล
หากคุณชอบงานของฉันและต้องการเห็นการอัปเดตและคุณสมบัติใหม่ ๆ โปรดพิจารณาสนับสนุนโครงการของฉัน
ComfyUI IPAdapter Plus
ComfyUI InstantID (เนทิฟ)
สิ่งจำเป็นสำหรับ ComfyUI
การวิเคราะห์ใบหน้า ComfyUI
ไม่ต้องพูดถึงเอกสารและวิดีโอบทช่วยสอน ตรวจสอบวิดีโอ ความเข้าใจขั้นสูง ComfyUI ของฉันบน YouTube เช่น ตอนที่ 1 และตอนที่ 2
วิธีเดียวที่จะทำให้โค้ดเปิดและฟรีก็คือการสนับสนุนการพัฒนา ยิ่งมีผู้สนับสนุนมากเท่าไร ฉันก็ยิ่งมีเวลาทุ่มเทให้กับโครงการโอเพ่นซอร์สมากขึ้นเท่านั้น
โปรดพิจารณาการสนับสนุน Github หรือการบริจาคผ่าน PayPal (Matteo "matt3o" Spinelli) สำหรับการสนับสนุน $50+ โปรดแจ้งให้เราทราบหากคุณต้องการให้พูดถึงในไฟล์ readme นี้ คุณสามารถหาฉันได้ที่ Discord หรือ matt3o ? gmail.com
2024/09/13 : แก้ไขข้อผิดพลาดที่น่ารังเกียจในการแพตช์บล็อกกลางที่เราดำเนินการมาตั้งแต่ต้น ขออภัย รูปภาพที่สร้างขึ้นจะไม่เหมือนเดิมทุกประการ อย่างไรก็ตาม บล็อกกลางไม่ได้ส่งผลกระทบมากนัก ดังนั้นจึงไม่ควรเป็นเรื่องใหญ่ ไม่ ส่งผลกระทบต่อการถ่ายโอนสไตล์หรือองค์ประกอบ แต่จะส่งผลต่อการสร้างเชิงเส้นเท่านั้น โดยทั่วไปฉันจะไม่รายงานเกี่ยวกับการแก้ไขข้อบกพร่องเล็กๆ น้อยๆ แต่อันนี้อาจทำให้เกิดผลลัพธ์ที่แตกต่างออกไป ดังนั้นฉันจึงคิดว่ามันคุ้มค่าที่จะกล่าวถึง
2024/08/02 : รองรับ Kolors FaceIDv2 โปรดตรวจสอบขั้นตอนการทำงานตัวอย่างเพื่อดูแนวทางปฏิบัติที่ดีที่สุด
26/07/2024 : เพิ่มการรองรับชุดรูปภาพและภาพเคลื่อนไหวให้กับ ClipVision Enhancer
2024/07/18 : รองรับ Kolors
2024/07/17 : เพิ่มโหนด ClipVision Enhancer รุ่นทดลอง มันได้รับแรงบันดาลใจจากรายงาน Scaling on Scales แต่การใช้งานแตกต่างออกไปเล็กน้อย IPAdapterClipVisionEnhancer ใหม่พยายามจับรายละเอียดเล็กๆ น้อยๆ โดยการเรียงส่วนที่ฝังไว้ (แทนที่จะเป็นภาพในพื้นที่พิกเซล) ผลลัพธ์ที่ได้คือการฝังภาพที่มีความละเอียดสูงขึ้นเล็กน้อยโดยไม่มีค่าใช้จ่ายด้านประสิทธิภาพ
11/07/2024 : เพิ่มการถ่ายโอนองค์ประกอบที่แม่นยำ (เค้าโครง) แบบทดลอง มันไม่ดีเท่าสไตล์ embeds_scaling มีผลกระทบอย่างมาก เริ่มต้นด้วยความแรง 0.8 และเพิ่ม 0.3 ใน SDXL และ 0.6 เพิ่ม 0.35 ใน SD1.5
2024/06/28 : เพิ่มโหนด IPAdapter Precise Style Transfer เพิ่มตัวเลือก style_boost เพื่อลดเลือดออกของเลเยอร์องค์ประกอบ สำคัญ: ทำงานได้ดีขึ้นใน SDXL เริ่มต้นด้วย style_boost เป็น 2; สำหรับ SD1.5 ลองเพิ่มน้ำหนักมากกว่า 1.0 เล็กน้อย และตั้งค่า style_boost ให้เป็นค่าระหว่าง -1 ถึง +1 โดยเริ่มจาก 0
22/06/2024 : เพิ่ม style transfer precise ช่วยให้การฝังระหว่างเลเยอร์สไตล์และองค์ประกอบน้อยลง บางครั้งมันก็ดีกว่าการถ่ายโอนสไตล์มาตรฐาน โดยเฉพาะอย่างยิ่งหากรูปภาพอ้างอิงแตกต่างจากรูปภาพที่สร้างขึ้นมาก ทำงานได้ดีกว่าใน SDXL มากกว่า SD1.5
2024/05/21 : ปรับปรุงการจัดสรรหน่วยความจำเมื่อ encode_batch_size มีประโยชน์เป็นส่วนใหญ่สำหรับแอนิเมชั่นที่ยาวมาก
05/02/2024 : เพิ่ม encode_batch_size ให้กับโหนดแบตช์ขั้นสูง สิ่งนี้มีประโยชน์สำหรับภาพเคลื่อนไหวที่มีเฟรมจำนวนมากเพื่อลดการใช้ VRAM ในระหว่างการเข้ารหัสรูปภาพ โปรดทราบว่าผลลัพธ์จะแตกต่างกันเล็กน้อยตามขนาดชุดงาน
27/04/2024 : ปรับโครงสร้าง IPAdapterWeights ใหม่ซึ่งส่วนใหญ่มีประโยชน์สำหรับแอนิเมชั่น AnimateDiff
2024/04/21 : เพิ่มโหนดการปรับสภาพภูมิภาคเพื่อลดความซับซ้อนของการมาสก์ความสนใจและการปรับสภาพข้อความที่มาสก์
2024/04/16 : เพิ่มการรองรับสำหรับโมเดล SDXL แนวตั้งที่ไม่ปกติใหม่ (ลิงก์ด้านล่าง) มีความแข็งแกร่งมากและมีแนวโน้มที่จะเพิกเฉยต่อการปรับสภาพข้อความ ลด CFG ลงเหลือ 3-4 หรือใช้โหนด RescaleCFG
(อัปเดตเก่าถูกลบออกเพื่อให้สามารถอ่านได้)
ไดเร็กทอรีตัวอย่างมีเวิร์กโฟลว์มากมายที่ครอบคลุมฟังก์ชัน IPAdapter ทั้งหมด
คุณสมบัติใหม่ของ IPAdapter
สไตล์และองค์ประกอบของ IPAdapter
วิดีโอต่อไปนี้เกี่ยวกับ IPAdapter เวอร์ชันก่อนหน้า แต่ยังคงมีข้อมูลที่เป็นประโยชน์
วิดีโอการใช้งานขั้นพื้นฐาน ? วิดีโอคุณสมบัติขั้นสูง ? วิดีโอกำบังความสนใจ ? วิดีโอคุณสมบัติแอนิเมชั่น
ดาวน์โหลดหรือคอมไพล์การโคลนที่เก็บนี้ภายในไดเร็กทอรี ComfyUI/custom_nodes/ หรือใช้ Manager IPAdapter ต้องการ ComfyUI เวอร์ชันล่าสุดเสมอ หากมีบางอย่างใช้งานไม่ได้อย่าลืมอัปเกรด โปรดทราบว่าบางครั้งการอัปเดตอัตโนมัติของตัวจัดการจะไม่ทำงาน และคุณอาจต้องอัปเกรดด้วยตนเอง
ขณะนี้มี Unified Model Loader เพื่อให้ใช้งานได้คุณต้องตั้งชื่อไฟล์ตามที่อธิบายไว้ด้านล่างทุกประการ ตัวโหลดแบบเดิมใช้งานได้กับชื่อไฟล์ใดก็ได้ แต่คุณต้องเลือกด้วยตนเอง โมเดลสามารถวางลงในไดเร็กทอรีย่อยได้
โปรดจำไว้ว่าคุณยังสามารถใช้การตั้งค่าตำแหน่งที่กำหนดเองกับรายการ ipadapter ในไฟล์ extra_model_paths.yaml ได้
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors ดาวน์โหลดและเปลี่ยนชื่อ
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors ดาวน์โหลดและเปลี่ยนชื่อ
clip-vit-large-patch14-336.bin ดาวน์โหลดและเปลี่ยนชื่อสำหรับรุ่น Kolors เท่านั้น
/ComfyUI/models/ipadapter สร้างมันขึ้นมาหากไม่มีอยู่
ip-adapter_sd15.safetensors รุ่นพื้นฐาน ความแรงเฉลี่ย
ip-adapter_sd15_light_v11.bin รุ่นกระแทกเบา
ip-adapter-plus_sd15.safetensors รุ่น Plus แข็งแรงมาก
ip-adapter-plus-face_sd15.safetensors, โมเดลใบหน้า, การถ่ายภาพบุคคล
ip-adapter-full-face_sd15.safetensors รุ่นใบหน้าที่แข็งแกร่งขึ้น ไม่จำเป็นต้องดีกว่าเสมอไป
ip-adapter_sd15_vit-G.safetensors รุ่นพื้นฐาน ต้องใช้ตัวเข้ารหัสการมองเห็นคลิป bigG
ip-adapter_sdxl_vit-h.safetensors รุ่น SDXL
ip-adapter-plus_sdxl_vit-h.safetensors, รุ่น SDXL plus
ip-adapter-plus-face_sdxl_vit-h.safetensors, รุ่นใบหน้า SDXL
ip-adapter_sdxl.safetensors รุ่น vit-G SDXL ต้องใช้ตัวเข้ารหัสการมองเห็นคลิป bigG
ip-adapter_sd15_light.safetensors ที่เลิกใช้งานแล้ว รุ่น v1.0 ผลกระทบเล็กน้อย
โมเดล FaceID ต้องใช้ insightface คุณต้องติดตั้งในสภาพแวดล้อม ComfyUI ของคุณ ตรวจสอบปัญหานี้เพื่อขอความช่วยเหลือ โปรดจำไว้ว่ารุ่น FaceID ส่วนใหญ่จำเป็นต้องมี LoRA เช่นกัน
เพื่อให้ Unified Loader ทำงาน จำเป็นต้องตั้งชื่อไฟล์ให้ตรงตามที่แสดงไว้ในรายการด้านล่างทุกประการ
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin รุ่นพื้นฐาน FaceID
ip-adapter-faceid-plusv2_sd15.bin, FaceID บวก v2
ip-adapter-faceid-Portrait-v11_sd15.bin การถ่ายโอนสไตล์ข้อความพร้อมท์สำหรับการถ่ายภาพบุคคล
ip-adapter-faceid_sdxl.bin, FaceID ฐาน SDXL
ip-adapter-faceid-plusv2_sdxl.bin, SDXL บวก v2
ip-adapter-faceid-Portrait_sdxl.bin, การถ่ายโอนสไตล์พร้อมท์ข้อความ SDXL
ip-adapter-faceid-Portrait_sdxl_unnorm.bin รูปแบบการถ่ายโอน SDXL ที่แข็งแกร่งมากเท่านั้น
เลิกใช้ ip-adapter-faceid-plus_sd15.bin, FaceID plus v1 แล้ว
ip-adapter-faceid-Portrait_sd15.bin ที่เลิกใช้งานแล้ว , v1 ของโมเดลแนวตั้ง
รุ่น FaceID ส่วนใหญ่ต้องใช้ LoRA หากคุณใช้ IPAdapter Unified Loader FaceID จะถูกโหลดโดยอัตโนมัติหากคุณปฏิบัติตามหลักการตั้งชื่อ มิฉะนั้นคุณจะต้องโหลดด้วยตนเอง โปรดระวังว่า FaceID แต่ละรุ่นจะต้องจับคู่กับ LoRA เฉพาะของตัวเอง
/ComfyUI/models/loras
ip-adapter-faceid_sd15_lora.safetensors
ip-adapter-faceid-plusv2_sd15_lora.safetensors
ip-adapter-faceid_sdxl_lora.safetensors, SDXL FaceID LoRA
ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL บวก v2 LoRA
ip-adapter-faceid-plus_sd15_lora.safetensors ที่เลิกใช้แล้ว , LoRA สำหรับรุ่น FaceID plus v1 ที่เลิกใช้แล้ว
พบทุกรุ่นได้ที่ Huggingface
ชุมชนได้สร้างโมเดล IPAdapter ที่น่าสนใจขึ้นมา
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors องค์ประกอบทั่วไปโดยไม่สนใจสไตล์และเนื้อหา ข้อมูลเพิ่มเติมเกี่ยวกับเรื่องนี้ที่นี่
ip_plus_composition_sdxl.safetensors เวอร์ชัน SDXL
Kolors-IP-Adapter-Plus.bin, IPAdapter Plus สำหรับรุ่น Kolors
Kolors-IP-Adapter-FaceID-Plus.bin, IPAdapter FaceIDv2 สำหรับรุ่น Kolors หมายเหตุ: Kolors ได้รับการฝึกฝนเกี่ยวกับโมเดล InsightFace antelopev2 คุณจะต้องดาวน์โหลดด้วยตนเองและวางไว้ภายในไดเร็กทอรี models/inisghtface
หากคุณรู้จักรุ่นอื่นๆ โปรดแจ้งให้เราทราบ แล้วฉันจะเพิ่มลงในตัวโหลดแบบรวม
มีเวิร์กโฟลว์จำนวนมากรวมอยู่ในไดเร็กทอรีตัวอย่าง โปรดตรวจสอบก่อนขอความช่วยเหลือ
โดยปกติแล้ว ควรลด weight ลงอย่างน้อย 0.8 และเพิ่มจำนวนก้าว เพื่อเพิ่มการปฏิบัติตามพร้อมท์ คุณอาจลองเปลี่ยน ประเภทน้ำหนัก ในโหนด IPAdapter Advanced
ฉันกำลัง (ช้า) บันทึกโหนดทั้งหมด โปรดตรวจสอบการอ้างอิงโหนด
โปรดตรวจสอบการแก้ไขปัญหาก่อนที่จะโพสต์ปัญหาใหม่ อย่าลืมตรวจสอบปัญหาที่ปิดไปแล้วก่อนหน้านี้ด้วย
