ComfyUI BrushNet

ซอร์สโค้ดอื่น ๆ

ดาวน์โหลด

ComfyUI-BrushNet

เหล่านี้เป็นโหนดที่กำหนดเองสำหรับการใช้งานแบบเนทีฟของ ComfyUI

Brushnet: "BrushNet: โมเดลการวาดภาพแบบ Plug-and-Play พร้อมการกระจายแบบ Dual-Branch ที่แยกส่วน"
PowerPaint: งานมีค่าเพียงคำเดียว: การเรียนรู้ด้วย Task Prompts สำหรับการลงสีรูปภาพอเนกประสงค์คุณภาพสูง
HiDiffusion: HiDiffusion: ปลดล็อกความคิดสร้างสรรค์ที่มีความละเอียดสูงกว่าและประสิทธิภาพในแบบจำลองการแพร่กระจายที่ได้รับการฝึกฝนมาแล้ว

การสนับสนุนของฉันจำกัดอยู่ที่การปรับ ComfyUI และเครดิตทั้งหมดเป็นของผู้เขียนบทความ

อัพเดท

16 พฤษภาคม 2024 การทำงานใหม่ภายในเพื่อปรับปรุงความเข้ากันได้กับโหนดอื่นๆ มีการใช้งาน RAUNet

12 พฤษภาคม 2024 โหนด CutForInpaint ดูตัวอย่าง

11 พฤษภาคม 2024 มีการนำชุดรูปภาพไปใช้ คุณสามารถเพิ่ม BrushNet ลงในเวิร์กโฟลว์ AnimateDiff vid2vid ได้ แต่พวกมันไม่ทำงานร่วมกัน - เป็นรุ่นที่แตกต่างกันและทั้งคู่พยายามแก้ไข UNet เพิ่มตัวอย่างเพิ่มเติมบางส่วน

6 พฤษภาคม 2024 มีการใช้งานโมเดล PowerPaint v2 หลังจากอัพเดตเวิร์กโฟลว์ของคุณอาจจะไม่ทำงาน อย่าตื่นตกใจ! ตรวจสอบพารามิเตอร์ end_at ของ BrushNode หากเท่ากับ 1 ให้เปลี่ยนเป็นตัวเลขจำนวนมาก อ่านเกี่ยวกับพารามิเตอร์ในส่วนการใช้งานด้านล่าง

2 พฤษภาคม 2024 BrushNet SDXL เผยแพร่แล้ว อย่างไรก็ตาม จำเป็นต้องมีการปรับเงื่อนไขเชิงบวกและเชิงลบ ดังนั้นเวิร์กโฟลว์จึงเปลี่ยนแปลงเล็กน้อย ดูตัวอย่าง

28 เม.ย. 2024 ปรับปรุงอีกครั้ง ขออภัยในความไม่สะดวก แต่ตอนนี้ BrushNet มีอยู่แล้วใน ComfyUI IPAdapter Plus ของ cubiq อันโด่งดังกำลังทำงานร่วมกับ BrushNet แล้ว! ฉันหวังว่า... :) กรุณารายงานข้อบกพร่องใด ๆ ที่คุณพบ

18 เม.ย. 2024 ปรับปรุงใหม่ให้เสร็จสิ้น ไม่มีไลบรารี diffusers แบบกำหนดเองอีกต่อไป สามารถใช้รุ่น LoRA ได้

11 เมษายน 2024 การดำเนินการเริ่มต้น

แผน

BrushNet SDXL
พาวเวอร์เพ้นท์ v2
ชุดรูปภาพ

การติดตั้ง

โคลน repo ลงในไดเร็กทอรี custom_nodes และติดตั้งข้อกำหนด:

 git clone https://github.com/nullquant/ComfyUI-BrushNet.git
pip install -r requirements.txt

สามารถดาวน์โหลด Checkpoints ของ BrushNet ได้จากที่นี่

จุดตรวจสอบใน segmentation_mask_brushnet_ckpt ให้จุดตรวจสอบที่ได้รับการฝึกอบรมเกี่ยวกับ BrushData ซึ่งมีการแบ่งส่วนก่อนหน้า (มาสก์มีรูปร่างวัตถุเหมือนกัน) random_mask_brushnet_ckpt ให้ ckpt ทั่วไปมากขึ้นสำหรับรูปร่างมาสก์แบบสุ่ม

segmentation_mask_brushnet_ckpt และ random_mask_brushnet_ckpt มี BrushNet สำหรับรุ่น SD 1.5 ในขณะที่ segmentation_mask_brushnet_ckpt_sdxl_v0 และ random_mask_brushnet_ckpt_sdxl_v0 สำหรับ SDXL

คุณควรวางไฟล์ diffusion_pytorch_model.safetensors ลงในโฟลเดอร์ models/inpaint ของคุณ คุณยังสามารถระบุโฟลเดอร์ inpaint ใน extra_model_paths.yaml ของคุณได้

สำหรับ PowerPaint คุณควรดาวน์โหลดไฟล์สามไฟล์ ควรวางทั้ง diffusion_pytorch_model.safetensors และ pytorch_model.bin จากที่นี่ไว้ในโฟลเดอร์ models/inpaint ของคุณ

นอกจากนี้ คุณต้องมีตัวเข้ารหัสข้อความ SD1.5 model model.safetensors คุณสามารถรับได้จากที่นี่หรือจากที่อื่น คุณยังสามารถใช้เวอร์ชัน fp16 ได้ ควรวางไว้ในโฟลเดอร์ models/clip ของคุณ

นี่คือโครงสร้างของโฟลเดอร์ models/inpaint ของฉัน:

โฟลเดอร์ inpaint

ของคุณอาจแตกต่างกัน

การใช้งาน

ด้านล่างนี้คือตัวอย่างสำหรับขั้นตอนการทำงานที่ต้องการ ขั้นตอนการทำงานสำหรับตัวอย่างสามารถพบได้ในไดเรกทอรี 'ตัวอย่าง'

ตัวอย่างขั้นตอนการทำงาน

SDXL

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

IPAdapter พลัส

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

โลรา

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

การผสมอินเพนท์

ตัวอย่างขั้นตอนการทำงาน

บางครั้งการอนุมานและ VAE ทำให้ภาพเสียหาย ดังนั้นคุณจึงต้องผสมผสานภาพในสีเข้ากับต้นฉบับ: ขั้นตอนการทำงาน คุณสามารถเห็นข้อความที่เบลอและแตกหักได้หลังจากวาดภาพในภาพแรก และฉันจะแก้ไขได้อย่างไร

คอนโทรลเน็ต

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

ขอบแสนรู้ของ ControlNet

ELLA ทาสีทับ

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

หรู

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

หากต้องการยกระดับคุณควรใช้โมเดลพื้นฐาน ไม่ใช่ BrushNet เช่นเดียวกับการปรับสภาพ การลดขนาดแฝงระหว่าง BrushNet และ KSampler จะไม่ทำงานหรือจะให้ผลลัพธ์ที่แปลกประหลาดแก่คุณ ข้อจำกัดเหล่านี้เกิดจากโครงสร้างของ BrushNet และอิทธิพลต่อการคำนวณ UNet

ชุดรูปภาพ

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

หากคุณมีปัญหา OOM คุณสามารถใช้ Evolved Sampling จาก AnimateDiff-Evolved:

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

ใน Context Options ให้ตั้งค่า context_length เป็นจำนวนรูปภาพที่สามารถโหลดลงใน VRAM รูปภาพจะถูกประมวลผลเป็นชิ้นขนาดนี้

ภาพใหญ่ในการวาดภาพ

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

เมื่อคุณทำงานกับภาพขนาดใหญ่และมาสก์ในอินเพนท์มีขนาดเล็ก ควรตัดบางส่วนของภาพ ทำงานกับมันแล้วผสมผสานกลับเข้าด้วยกัน ฉันสร้างโหนดสำหรับเวิร์กโฟลว์ดังกล่าว ดูตัวอย่าง

โปรแกรมระบายสี PowerPaint

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

การลบวัตถุ PowerPaint

ตัวอย่างขั้นตอนการทำงาน

ขั้นตอนการทำงาน

การลบวัตถุออกจนหมดมักจะเป็นเรื่องยาก โดยเฉพาะอย่างยิ่งหากวัตถุอยู่ด้านหน้า:

ตัวอย่างการลบวัตถุ

คุณควรพยายามเพิ่มคำอธิบายอ็อบเจ็กต์ลงในพรอมต์เชิงลบและอธิบายฉากว่าง ดังตัวอย่างนี้:

ตัวอย่างการลบวัตถุ

พารามิเตอร์

ตัวโหลด Brushnet

dtype ค่าเริ่มต้นคือ torch.float16 torch.dtype ของ BrushNet หากคุณมี GPU เก่าหรือการ์ด NVIDIA 16 series ให้ลองเปลี่ยนไปใช้ torch.float32

บรัชเน็ต

scale เริ่มต้นเป็น 1.0: "ความแข็งแกร่ง" ของ BrushNet ผลลัพธ์ของ BrushNet จะถูกคูณด้วย scale ก่อนที่จะบวกเข้ากับส่วนที่เหลือใน unet ดั้งเดิม
start_at มีค่าเริ่มต้นเป็น 0: ขั้นตอนที่ BrushNet เริ่มนำไปใช้
end_at มีค่าเริ่มต้นเป็น 10,000: ขั้นตอนที่ BrushNet หยุดใช้

นี่คือตัวอย่างการใช้พารามิเตอร์สองตัวสุดท้ายนี้

พาวเวอร์เพ้นท์

CLIP : PowerPaint CLIP ที่ควรส่งผ่านจากโหนด PowerPaintCLIPLoader
fitting : ระดับที่เหมาะสมของ PowerPaint
function : ฟังก์ชั่น PowerPaint โปรดดูรายละเอียดที่หน้าของมัน
save_memory : หากตั้งค่าตัวเลือกนี้ โมดูลความสนใจจะแยกเทนเซอร์อินพุตออกเป็นชิ้น ๆ เพื่อคำนวณความสนใจในหลายขั้นตอน สิ่งนี้มีประโยชน์สำหรับการบันทึกหน่วยความจำบางส่วนเพื่อแลกกับความเร็วที่ลดลง หากคุณใช้ VRAM ไม่เพียงพอหรือได้รับ Error: total bytes of NDArray > 2**32 บน Mac ให้ลองตั้งค่าตัวเลือกนี้เป็น max

เมื่อใช้ฟังก์ชันเครือข่ายบางอย่าง ผู้เขียน PowerPaint แนะนำให้เพิ่มวลีลงในข้อความแจ้ง:

การลบวัตถุ: empty scene blur
การรับรู้บริบท: empty scene
การวาดภาพภายนอก: empty scene

ผู้ใช้ ComfyUI จำนวนมากใช้โหนดการสร้างข้อความแบบกำหนดเอง โหนด CLIP และเงื่อนไขอื่นๆ อีกมากมาย ฉันไม่ต้องการทำลายโหนดเหล่านี้ทั้งหมด ดังนั้นฉันจึงไม่ได้เพิ่มการอัปเดตทันทีและพึ่งพาผู้ใช้แทน การทดลองของฉันเองยังแสดงให้เห็นว่าการเพิ่มเติมเหล่านี้ไม่จำเป็นอย่างเคร่งครัด

รูปภาพแฝงอาจมาจากโหนด BrushNet หรือไม่ก็ได้ แต่ควรมีขนาดเท่ากับรูปภาพต้นฉบับ (หารด้วย 8 ในพื้นที่แฝง)

การปรับสภาพทั้ง positive และ negative ในโหนด BrushNet และ PowerPaint ใช้สำหรับการคำนวณภายใน แต่จากนั้นก็คัดลอกไปยังเอาต์พุตเท่านั้น

โปรดทราบว่าเวิร์กโฟลว์และโหนดทั้งหมดอาจไม่ทำงานกับ BrushNet เนื่องจากโครงสร้างของมัน ใส่การเปลี่ยนแปลงโมเดลไว้ข้างหน้าโหนด BrushNet ด้วย ไม่ใช่หลัง หากคุณต้องการโมเดลเพื่อทำงานกับรูปภาพหลังจากการอนุมาน BrushNet ให้ใช้ฐานหนึ่ง (ดูตัวอย่างการอัปเกรดด้านล่าง)

ราเน็ต

du_start มีค่าเริ่มต้นเป็น 0: ขั้นตอนที่การปรับขนาด Downsample/Upsample เริ่มนำไปใช้
du_end มีค่าเริ่มต้นเป็น 4: ขั้นตอนที่การปรับขนาด Downsample/Upsample หยุดใช้
xa_start มีค่าเริ่มต้นเป็น 4: ขั้นตอนที่การปรับขนาด CrossAttention เริ่มนำไปใช้
xa_end มีค่าเริ่มต้นเป็น 10: ขั้นตอนที่การปรับขนาด CrossAttention หยุดใช้

สำหรับตัวอย่างและคำอธิบาย โปรดดูที่นี่

ข้อจำกัด

BrushNet มีข้อ จำกัด บางประการ (จากกระดาษ):

คุณภาพและเนื้อหาที่สร้างโดยโมเดลจะขึ้นอยู่กับโมเดลพื้นฐานที่เลือกเป็นอย่างมาก ผลลัพธ์อาจแสดงถึงความไม่สอดคล้องกัน ตัวอย่างเช่น หากรูปภาพที่กำหนดเป็นภาพที่เป็นธรรมชาติ ในขณะที่โมเดลพื้นฐานเน้นที่อะนิเมะเป็นหลัก
แม้ว่าจะใช้ BrushNet เรายังคงสังเกตเห็นผลลัพธ์การสร้างที่ไม่ดีในกรณีที่มาสก์ที่ให้มามีรูปร่างผิดปกติหรือรูปแบบที่ผิดปกติ หรือเมื่อข้อความที่ให้มาไม่สอดคล้องกับรูปภาพที่มาสก์