ComfyUI ทั้งหมดในเวิร์กโฟลว์ FluxDev เดียว

ComfyUI-All-in-One-FluxDev-เวิร์กโฟลว์

อัปเดต v0.2: แก้ไขโหนดผิดที่เชื่อมต่อกับโหนด florence2

อัปเดต 08-11-2024 : หลังจากเล่นซอไปสักพัก ฉันพบวิธีสร้างภาพคุณภาพสูงด้วย controlnet ตามที่สาธิตบนหน้า Github/HF ของพวกเขา ฉันยังพบว่าวิธีการสุ่มตัวอย่าง 2 วิธีสามารถรวมกันและจัดระเบียบใหม่ได้ ด้วยแนวทางที่ง่ายกว่าและมีประสิทธิภาพมากขึ้น ฉันจะอัปเดต v0.3 เร็วๆ นี้เพื่อรวมการเปลี่ยนแปลงทั้งหมดนี้

ภาพรวม

ฉันได้สร้างเวิร์กโฟลว์ All-in-One FluxDev ใน ComfyUI ที่ผสมผสานเทคนิคต่างๆ สำหรับการสร้างภาพด้วยโมเดล FluxDev รวมถึง img-to-img และ text-to-img เวิร์กโฟลว์นี้สามารถใช้ LoRA, ControlNets, เปิดใช้งานการแจ้งเตือนเชิงลบด้วย Ksampler, การกำหนดเกณฑ์แบบไดนามิก, การลงสี และอื่นๆ โปรดทราบว่านี่ไม่ใช่วิธีที่ "ถูกต้อง" ในการใช้เทคนิคเหล่านี้ แต่เป็นการตีความส่วนตัวของฉันตามข้อมูลที่มีอยู่

ใช้งานโหนด USE ทุกที่อย่างหนัก

เวิร์กโฟลว์นี้อาศัยโหนด USE Everywhere อย่างมากเพื่อให้สะอาดและมีประสิทธิภาพมากที่สุดเท่าที่จะเป็นไปได้สำหรับความต้องการในการสร้างรายวันของฉัน ฉันกำลังแชร์ขั้นตอนการทำงานนี้กับชุมชนเพื่อรวบรวมข้อมูลเชิงลึกและข้อเสนอแนะสำหรับการปรับปรุง รู้สึกอิสระที่จะทดลองด้วยตัวคุณเอง

คุณสมบัติหลัก

• สลับระหว่างการสร้างภาพต่อภาพและข้อความเป็นภาพ
• สำหรับการสร้างข้อความเป็นรูปภาพ ให้เลือกความละเอียด SDXL ที่กำหนดไว้ล่วงหน้า หรือใช้โหนดเครื่องคำนวณความละเอียดพิกเซลเพื่อสร้างความละเอียดตามอัตราส่วนภาพและเมกะพิกเซลผ่านสวิตช์
• โหลดโมเดล ControlNet และ LoRA
• การสุ่มตัวอย่างด้วยโหนดการสุ่มตัวอย่าง Flux และ Sampler Custom Advance ตามเวิร์กโฟลว์การสาธิตอย่างเป็นทางการดั้งเดิม
• การสุ่มตัวอย่างด้วยเกณฑ์ขั้นต่ำแบบไดนามิกและโหนด Ksampler Advance ช่วยให้สามารถปรับเงื่อนไขเชิงบวกและลบด้วย FluxGuidance
• การลงสีแบบง่ายๆ
• การแก้ไขที่มีความละเอียดสูง เช่น การลดขนาดซ้ำด้วย Tiled Diffusion

การใช้เวิร์กโฟลว์นี้

1. อัปเดต : ไม่จำเป็นต้องติดตั้งแบบกำหนดเองด้วยตนเอง ขณะนี้คุณสามารถค้นหาโหนดในตัวจัดการได้ เพียงทำตามขั้นตอนที่ 3 ติดตั้งโหนดที่กำหนดเองของ Pixel Resolution Calculator ผ่าน git URL ใน ComfyUI Manager (ฉันยังไม่ได้ส่งการดึง) url: https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. ดาวน์โหลดและนำเข้าไฟล์ JSON ไปยัง ComfyUI
3. ติดตั้งโหนดที่หายไปผ่านตัวจัดการ ComfyUI
4. กำหนดค่าสวิตช์
5. เพิ่มคำแนะนำ (หรือใช้คำอธิบายภาพโดยละเอียดจาก Vision LLM)
6. อัปโหลดอิมเมจ ControlNet (ไม่บังคับ)
7. บายพาส/เลิกบายพาสโหนดที่คุณต้องการ
8. สร้าง!

ความต้องการ

• โหนดที่กำหนดเอง My Pixel Resolution Calculator (ตัวเลือก)
• ตุ้มน้ำหนักดั้งเดิม: flux1-dev.safetensors
• เวอร์ชัน FP8 (สำหรับระบบ <24GB VRAM): flux1-dev-fp8.safetensors
• ตัวเข้ารหัสข้อความ (วางใน ComfyUI/models/clip ): flux_text_encoders
• VAE (วาง ae.sft ใน ComfyUI/models/vae ): ae.safetensors
• สำหรับการใช้งาน RAM ที่ต่ำกว่า ให้ดาวน์โหลดตัวเข้ารหัส FP8 T5XXL (ที่มีคุณภาพลดลงบ้าง)
• xlabs-ai flux-controlnet-canny Weight controlnet.safetensors (วางไว้ใต้ ComfyUI/models/controlnet เปิดโฟลเดอร์หากจำเป็น)
• flux_RealismLora_converted flux_realism_lora.safetensors (วางไว้ใต้ ComfyUI/models/loras เปิดโฟลเดอร์หากจำเป็น)
• Ollama และ llava:13b (ไม่จำเป็น)
• รุ่น Microsoft Florence 2 (เป็นทางเลือก แต่ควรดาวน์โหลดโดยอัตโนมัติในครั้งแรกที่คุณเรียกใช้)

การตั้งค่า VRAM ต่ำ:

เรียกใช้ ComfyUI ด้วยอาร์กิวเมนต์ "--lowvram" (เพิ่มลงในไฟล์ .bat ของคุณ) เพื่อถ่ายข้อมูลตัวเข้ารหัสข้อความไปยัง CPU

ข้อบกพร่องที่รู้จัก

• หากคุณใช้ Ctrl + Z เพื่อเลิกทำการเปลี่ยนแปลง โหนดบางแห่งจะยกเลิกการเชื่อมโยงด้วยตัวเอง ค้นหาโหนดที่สูญเสียลิงก์ ถอดปลั๊กและเสียบอินพุตใหม่ ทุกอย่างควรจะทำงานได้อีกครั้ง

คอนโทรลเน็ตและ LoRA

ในขณะที่สร้างเวิร์กโฟลว์นี้ มี ControlNet สองรายการและ LoRA หลายรายการ รวมถึง:

• Canny ControlNet และความสมจริง LoRA จาก XLabs-AI
• คอนโทรลเน็ต Canny จาก InstantX
• Aesthetic (อะนิเมะ) LoRA สำหรับ FLUX โดย advokat
• ฉันยังพบหน้าโมเดลการควบคุม netunion ใต้หน้ากอดของ InstantX ดังนั้นบางทีเราอาจจะมีโมเดลสหภาพในอนาคตอันใกล้นี้

ฉันเพิ่งทดสอบ Canny และ Realism LoRA จาก XLabs-AI เท่านั้น และนี่คือประเด็นสำคัญบางประการ:

• หากคุณพบข้อความแสดงข้อผิดพลาดแจ้งว่าไม่มีคีย์ คุณจะต้องไปที่ไดเร็กทอรี ComfyUI และเปิดเทอร์มินัลเพื่อป้อนโค้ด: git checkout xlabs_flux_controlnet
• จากการทดสอบของฉัน ดูเหมือนว่าแบบจำลองจะได้รับการฝึกฝนเกี่ยวกับอัตราส่วนภาพสี่เหลี่ยมจัตุรัสและที่ระดับแนวทาง 4 ดังที่กล่าวถึงในที่นี้ด้วย
• ฉันสามารถทำให้มันทำงานได้โดยมีการแจ้งเตือนเพียงเล็กน้อยเท่านั้น เช่น การสาธิตอย่างเป็นทางการจาก GitHub ข้อความแจ้งที่ซับซ้อนจะไม่ทำงาน แม้ว่าฉันจะล้มเหลวในการสร้างคุณภาพเดียวกันทุกประการจากการสาธิต แต่ฉันอาจทำอะไรผิดไป
• สำหรับ LoRA คุณจะต้องดาวน์โหลด LoRA ที่แปลงแล้วโดยไม่ระบุชื่อเพื่อให้ใช้งานได้
• XLabs controlnet อยู่ภายใต้ FLUX.1 [dev] Non-Commercial License และสำหรับ intantX ฉันขี้เกียจเกินไปที่จะหาข้อมูลใด ๆ ว่า (มันควรจะเหมือนกันใช่ไหม?)
• เวิร์กโฟลว์ LoRA อิงตามเวิร์กโฟลว์ Simple+Advanced FLUX.1 ComfyUI โดย markury

การกำหนดเกณฑ์แบบไดนามิกและการแจ้งเตือนเชิงลบ

เวิร์กโฟลว์ Ksampler พร้อมการกำหนดขีดจำกัดแบบไดนามิกนั้นอิงตามโพสต์ในบล็อก ComfyUI อย่างเป็นทางการ และฉันพูดว่า:

หมายเหตุสำหรับทั้งสองรุ่น คุณสามารถใช้ SamplerCustomAdvanced กับ BasicGuider หรือหากคุณใช้ KSampler ให้ตั้งค่า CFG เป็น 1 คุณสามารถใช้ FluxGuidance ใหม่บนโมเดล Dev เพื่อควบคุมค่าที่คล้าย CFG ที่กลั่นแล้ว (แนะนำให้ตั้งค่านี้เป็น 2 เพื่อความสมจริงหรือการควบคุมสไตล์ที่ดีกว่า) โมเดลเหล่านี้ได้รับการฝึกฝนให้ทำงานโดยไม่ต้องใช้ CFG จริง ไม่ได้หมายความว่าคุณไม่สามารถใช้ CFG ได้ ที่จริงแล้ว ชุมชนได้ใช้ประโยชน์จาก ComfyUI อย่างรวดเร็วในฐานะแพลตฟอร์มทดลองเพื่อทดสอบเทคนิคต่างๆ มากมายเพื่อให้ได้ประโยชน์สูงสุดจากโมเดลใหม่ (เช่น การใช้โหนดแบบกำหนดเอง Dynamic Thresholding หรือใช้โหนดในตัว FluxGuidance ใหม่เพื่อชดเชย และเปิดใช้งาน CFG และการแจ้งเตือนเชิงลบ นอกจากนี้ยังมี ModelSamplingFlux ในตัวเพื่อควบคุม Flux sigma shift แม้ว่าประโยชน์ของมันจะมีจำกัดมากกว่าก็ตาม)

โปรดทราบว่านี่เป็นการตีความของฉันเอง และอย่าลังเลที่จะทำการเปลี่ยนแปลงและทดลองใดๆ

การสาธิตการเก็บตัวอย่างที่ไม่ใช่เชอร์รี่ 0 ช็อต ด้วยวิธีการสุ่มตัวอย่างนี้:

โหนดเครื่องคำนวณความละเอียดพิกเซล

คุณสามารถค้นหา repo ได้ที่นี่

เครื่องคำนวณความละเอียดพิกเซลเป็นโหนดแบบกำหนดเองที่ฉันพัฒนาด้วยความช่วยเหลือของ LLama3.1 เมื่อวานนี้ (ใช่ ฉันไม่มีทักษะในการเขียนโปรแกรม กำลังเรียนรู้ตั้งแต่เริ่มต้น) มันเป็นเพียงโหนดง่ายๆ ที่สร้างความละเอียดพิกเซล "ที่เป็นมิตรแฝง" ที่ใกล้เคียงที่สุดจากล้านพิกเซลและอัตราส่วนภาพที่คุณเลือก ฉันได้รับแรงบันดาลใจจากโหนด ImageScaleToTotalPixels จากเวิร์กโฟลว์สาธิต Flux ดั้งเดิม เนื่องจากทุกคนดูเหมือนจะพูดถึงความละเอียดพิกเซล แทนที่จะพูดถึงจำนวนพิกเซลความกว้างและความสูงเหมือนใน SDXL นอกจากนี้ยังมีโหนดสำหรับแปลงอินพุตตัวอย่างแฝงเป็นจำนวนพิกเซลความกว้างและความสูง

การขยายขนาดด้วย Tiled Diffusion

รวมถึงเวิร์กโฟลว์การอัปสเกลด้วย โดยจะใช้โหนด Iterative Upscale (รูปภาพ) จาก Impact Pack และการกระจายแบบเรียงต่อกันเพื่อสร้างการแก้ไขที่มีความละเอียดสูง เช่น การอัปสเกลและการทำรายละเอียดกลุ่มโหนดด้วยโมเดลการอัปสเกลที่คุณเลือก คุณยังสามารถทำการ Denoise, CFG และการจัดกำหนดการขั้นตอนด้วยตะขอ PK

ภาพสาธิตเปรียบเทียบที่นี่

การวาดภาพ

เนื่องจากยังไม่มีโมเดลการลงสีที่ได้รับการฝึกฝนสำหรับ Flux จึงมีเพียงรูปแบบการลงสีที่ง่ายที่สุดเท่านั้นที่สามารถทำได้ที่นี่ คุณยังสามารถลองรวม ControlNets เข้าด้วยกันได้ แต่ให้ใส่ใจกับความละเอียดแบบสี่เหลี่ยมจัตุรัสและมาตราส่วนคำแนะนำ (4)

โอลามา และฟลอเรนซ์2

มีเพียงโหนดง่าย ๆ บางตัวในการรัน ollama และ Florence2 เพื่อใช้ Vision LLm สำหรับคำบรรยายรายละเอียดและเพื่อรับข้อมูลเชิงลึกที่รวดเร็ว ฉันใช้ LLaVa 13B และ Florence2 ขนาดใหญ่ในการสาธิต คุณจะต้องมีโหนด Ollama , Ollama ComfyUI และ Florence2 ComfyUI ดูลิงก์ เพื่อดูรายละเอียดการใช้งานและคู่มือการติดตั้ง

คำแนะนำโดยละเอียด

จะมีการเพิ่มคำแนะนำโดยละเอียดเพิ่มเติมหากผู้คนพบว่ามันใช้งานยาก....

---

วิทยาศาสตรบัณฑิต

Flux เป็นโมเดลที่ยืดหยุ่นมาก และเนื่องจากเป็นเวอร์ชัน 1 จึงน่าประทับใจมาก ภายในสองสัปดาห์หลังการเปิดตัว ก็จะมี ControlNets และ LoRA พร้อมให้บริการแล้ว ซึ่งแสดงให้เห็นว่าชุมชนชื่นชอบโมเดลนี้มากเพียงใด ตอนนี้ฉันกำลังตั้งตาคอยโมเดลในการวาดภาพบางแบบ และที่สำคัญที่สุด Matteo โปรดปล่อย iPadapter สำหรับ Flux หน่อย.... ได้โปรด ปริศนาที่หายไปอันหนึ่งก็เสร็จแล้ว....

มีความสุขในการสร้าง!

ป.ล. ฉันกำลังรวมพรอมต์ที่ฉันใช้กับ LLama3.1 เพื่อช่วยฉันตรวจสอบการสะกดและตรวจไวยากรณ์สำหรับ repo นี้โดยไม่มีเหตุผล:

ทำหน้าที่เป็นนักเขียนมืออาชีพที่มีทักษะการเขียนที่แข็งแกร่งและมีความเข้าใจอย่างลึกซึ้งในการเขียนโดยทั่วไป ช่วยเหลือผู้ใช้ในการเขียนใหม่ การจัดรูปแบบใหม่ และดำเนินการตรวจสอบไวยากรณ์และการสะกดคำเมื่อมีการร้องขอ งานของคุณควรประกอบด้วย:

1. การเขียนเอกสารใหม่ เพื่อให้แน่ใจว่าไวยากรณ์และการสะกดถูกต้อง
2. เรียบเรียงประโยคใหม่ ให้คล่องและเข้าใจง่ายขึ้น
3. การจัดรูปแบบเนื้อหา โดยใช้ Markdown เพื่อเพิ่มความสามารถในการอ่าน
4. การเก็บรักษาเนื้อหาต้นฉบับ : ห้ามลบ แก้ไข หรือเพิ่มข้อมูลที่ไม่จำเป็นลงในเอกสาร
5. การรักษาการจัดรูปแบบ Markdown ที่มีอยู่ : หากเอกสารใช้ Markdown อยู่แล้ว ให้คงการจัดรูปแบบไว้เหมือนเดิม คุณสามารถฟอร์แมตใหม่ได้หากจำเป็น แต่หลีกเลี่ยงไม่ให้กระทบกับโครงสร้างเดิม
6. การรักษาคำศัพท์ทางเทคนิค : หลีกเลี่ยงการเขียนคำศัพท์เฉพาะเจาะจงที่เกี่ยวข้องกับหัวข้อ เช่น "Ksampler" หรือ "LoRAs" ใหม่ เว้นแต่คุณจะไม่แน่ใจเกี่ยวกับความหมายของคำเหล่านั้น ในกรณีดังกล่าว ให้ขอให้ผู้ใช้ยืนยัน
7. รักษาโทนเสียงต้นฉบับ : รักษาโทนเสียงของเอกสารให้สอดคล้องกัน ไม่ว่าจะเป็นทางการหรือไม่เป็นทางการ ตรวจสอบให้แน่ใจว่าเรื่องตลกและองค์ประกอบที่น่าขบขันยังคงอยู่ครบถ้วน

นอกจากนี้ โปรด:

1. ใช้การคิดแบบลูกโซ่ : แบ่งปันกระบวนการคิดของคุณเมื่อเขียนเอกสารใหม่ โดยอธิบายเหตุผลเบื้องหลังการเปลี่ยนแปลง
2. การเปลี่ยนแปลงรายการที่ทำ : ระบุการเปลี่ยนแปลงที่คุณทำกับเอกสาร เพื่อให้ผู้ใช้สามารถติดตามการแก้ไขได้
3. ให้คำแนะนำ : หากมีหลายวิธีในการเขียนส่วนใหม่ ให้เสนอคำแนะนำและให้ผู้ใช้ตัดสินใจว่าต้องการแนวทางใด

คุณเข้าใจข้อกำหนดเหล่านี้หรือไม่?