ComfyUI الكل في واحد سير عمل FluxDev

ComfyUI-All-in-One-FluxDev-Workflow

تم تحديث الإصدار 0.2: تم إصلاح العقد الخاطئة التي تتصل بعقدة florence2

تحديث 11-08-2024 : بعد قليل من العبث، وجدت طريقة لإعادة إنتاج الصورة عالية الجودة باستخدام شبكة التحكم كما تظهر على صفحة Github/HF الخاصة بهم، واكتشفت أيضًا أنه يمكن دمج طريقتي أخذ العينات وإعادة تنظيمهما في بطريقة أبسط وأكثر كفاءة، سأقوم بتحديث الإصدار 0.3 قريبًا ليشمل كل هذه التغييرات.

ملخص

لقد قمت بإنشاء سير عمل All-in-One FluxDev في ComfyUI الذي يجمع بين تقنيات مختلفة لإنشاء الصور باستخدام نموذج FluxDev، بما في ذلك img-to-img وtext-to-img. يمكن لسير العمل هذا استخدام LoRAs وControlNets وتمكين المطالبة السلبية باستخدام Ksampler والعتبة الديناميكية والرسم الداخلي والمزيد. يرجى ملاحظة أن هذه ليست الطريقة "الصحيحة" لاستخدام هذه التقنيات، بل هو تفسيري الشخصي بناءً على المعلومات المتاحة.

الاستخدام المكثف لعقدة الاستخدام في كل مكان

يعتمد سير العمل هذا بشكل كبير على عقدة USE Everywhere لجعلها نظيفة وفعالة قدر الإمكان لتلبية احتياجاتي اليومية من الأجيال. أشارك سير العمل هذا مع المجتمع لجمع الأفكار والاقتراحات للتحسين. لا تتردد في التجربة بنفسك.

الميزات الرئيسية

• التبديل بين إنشاء صورة إلى صورة وإنشاء نص إلى صورة
• لإنشاء نص إلى صورة، اختر من دقة SDXL المحددة مسبقًا أو استخدم عقدة حاسبة دقة البكسل لإنشاء دقة تعتمد على نسبة العرض إلى الارتفاع والميجابكسل عبر المفتاح
• تحميل نماذج ControlNet وLoRAs
• أخذ العينات باستخدام نموذج تدفق العينات وعقدة Sampler Custom Advance، استنادًا إلى سير العمل التجريبي الرسمي الأصلي
• أخذ العينات باستخدام العتبة الديناميكية وعقدة Ksampler Advance، مما يتيح التكييف الإيجابي والسلبي باستخدام FluxGuidance
• طلاء بسيط
• إصلاح عالي الدقة مثل الترقية التكرارية باستخدام Tiled Diffusion

باستخدام سير العمل هذا

1. تم التحديث: لا يلزم التثبيت اليدوي المخصص، يمكنك الآن العثور على العقد في المدير، ما عليك سوى اتباع الخطوة رقم 3. قم بتثبيت العقد المخصصة لـ Pixel Policy Calculator عبر عنوان URL لـ git في ComfyUI Manager (لم أرسل سحبًا بعد) عنوان url: https://github.com/Ling-APE/ComfyUI-PixelResolutionCalculator
2. قم بتنزيل واستيراد ملف JSON إلى ComfyUI
3. قم بتثبيت العقد المفقودة عبر مدير ComfyUI
4. تكوين المفاتيح
5. أضف المطالبات (أو استخدم التسميات التوضيحية التفصيلية من رؤية LLMs)
6. تحميل صورة ControlNet (اختياري)
7. تجاوز/إلغاء تجاوز العقد التي تحتاجها
8. يولد!

متطلبات

• العقد المخصصة لحاسبة دقة البكسل الخاصة بي (اختياري)
• الأوزان الأصلية: Flux1-dev.safetensors
• إصدار FP8 (لأنظمة VRAM التي تقل سعتها عن 24 جيجابايت):flux1-dev-fp8.safetensors
• برامج ترميز النص (مكانها في ComfyUI/models/clip ):flux_text_encoders
• VAE (ضع ae.sft في ComfyUI/models/vae ): ae.safetensors
• لاستخدام أقل لذاكرة الوصول العشوائي (RAM)، قم بتنزيل برنامج التشفير FP8 T5XXL (مع بعض التدهور في الجودة)
• xlabs-ai Flux-controlnet-canny Weight controlnet.safetensors (ضعه ضمن ComfyUI/models/controlnet ، وافتح المجلد إذا لزم الأمر)
• Flux_RealismLora_converted Flux_realism_lora.safetensors (ضعه ضمن ComfyUI/models/loras ، وافتح المجلد إذا لزم الأمر)
• أولاما ولافا:13ب (اختياري)
• نموذج Microsoft Florence 2 (اختياري، ولكن يجب تنزيله تلقائيًا عند تشغيله لأول مرة)

إعداد VRAM منخفض:

قم بتشغيل ComfyUI باستخدام الوسيطة "--lowvram" (أضف إلى ملف .bat الخاص بك) لإلغاء تحميل برنامج تشفير النص إلى وحدة المعالجة المركزية

الأخطاء المعروفة

• إذا كنت تستخدم Ctrl + Z للتراجع عن التغييرات، فسيتم إلغاء ربط بعض العقد في أي مكان من تلقاء نفسها، والعثور على العقد التي فقدت الارتباط، وفصل المدخلات وإعادة توصيلها، ويجب أن يعمل كل شيء مرة أخرى.

كونترول نت و لورا

في وقت إنشاء سير العمل هذا، هناك شبكتا تحكم متاحتان والعديد من LoRAs، بما في ذلك:

• Canny ControlNet وRealism LoRA من XLabs-AI
• شبكة التحكم الحاذقة من InstantX
• الجمالية (الأنمي) LoRA لـ FLUX بواسطة advokat
• لقد عثرت أيضًا على صفحة نموذج تحكم netunion ضمن صفحة الوجه المعانقة لـ InstantX، لذلك ربما يكون لدينا نموذج اتحاد في المستقبل القريب.

لقد قمت فقط باختبار Canny وRealism LoRAs من XLabs-AI، وإليك بعض النقاط الرئيسية:

• إذا واجهت رسائل خطأ تفيد بعدم وجود مفاتيح، فستحتاج إلى الانتقال إلى أدلة ComfyUI وفتح محطة لإدخال الرمز: git checkout xlabs_flux_controlnet
• من الاختبار الذي أجريته، يبدو أن النموذج قد تم تدريبه على نسب العرض إلى الارتفاع المربعة وعلى مقياس التوجيه 4، المذكور هنا أيضًا
• لا يمكنني تشغيله إلا بأقل قدر من المطالبة، مثل العرض التوضيحي الرسمي من جيثب. لن تنجح المطالبات المعقدة. على الرغم من أنني فشلت في إعادة إنتاج نفس الجودة تمامًا من العرض التوضيحي، فربما أفعل شيئًا خاطئًا.
• أما بالنسبة لـ LoRA، فستحتاج إلى تنزيل LoRA المحول بواسطة comfyanonymous حتى يعمل
• تندرج شبكة تحكم XLabs ضمن الترخيص غير التجاري FLUX.1 [dev] وبالنسبة لـ intantX فأنا كسول جدًا بحيث لا يمكنني العثور على أي معلومات حول ما إذا كان (يجب أن يكون هو نفسه، أليس كذلك؟)
• يعتمد سير عمل LoRA على سير عمل Simple+Advanced FLUX.1 ComfyUI بواسطة markury

العتبة الديناميكية والمطالبة السلبية

يعتمد سير عمل Ksampler ذو العتبة الديناميكية على منشور مدونة ComfyUI الرسمي. وأنا أقتبس:

لاحظ أنه بالنسبة لكلا الطرازين، يمكنك إما استخدام SamplerCustomAdvanced مع BasicGuider ، أو إذا كنت تستخدم KSampler ، فاضبط CFG على 1 . يمكنك استخدام FluxGuidance الجديد في نموذج Dev للتحكم في القيمة المقطرة المشابهة لـ CFG. (يوصى بضبط هذا على 2 لتحقيق الواقعية أو التحكم بشكل أفضل في الأسلوب) تم تدريب هذه النماذج على العمل بدون CFG حقيقي. هذا لا يعني أنه لا يمكنك أبدًا استخدام CFG - في الواقع، استفاد المجتمع بسرعة من ComfyUI كمنصة تجريبية لاختبار مجموعة واسعة من الحيل لتحقيق أقصى استفادة من النماذج الجديدة. (مثل استخدام العقدة المخصصة لـ Dynamic Thresholding، أو استخدام عقدة FluxGuidance المضمنة الجديدة للتعويض وتمكين CFG والمطالبة السلبية. هناك أيضًا ModelSamplingFlux مدمج للتحكم في تحول Flux sigma، على الرغم من أن فوائده محدودة أكثر.)

ضع في اعتبارك أن هذا هو تفسيري الخاص ولا تتردد في إجراء أي تغييرات أو تجربة.

0 عرض توضيحي غير اختيار الكرز باستخدام طريقة أخذ العينات هذه:

عقدة حاسبة دقة البكسل

يمكنك العثور على الريبو هنا .

حاسبة دقة البكسل هي عقدة مخصصة قمت بتطويرها بمساعدة LLama3.1 بالأمس (نعم، ليس لدي أي مهارات برمجية، وأتعلمها في الطريق من الصفر). إنها مجرد عقدة بسيطة جدًا تولد أقرب دقة بكسل "صديقة للكامنة" من ميغابيكسل ونسبة العرض إلى الارتفاع التي تختارها. لقد استلهمت من عقدة ImageScaleToTotalPixels من سير العمل التجريبي الأصلي لـ Flux، حيث يبدو أن الجميع يتحدثون عن دقة البكسل بدلاً من عدد وحدات البكسل للعرض والارتفاع كما هو الحال في SDXL. توجد أيضًا عقدة لتحويل مدخلات العينة الكامنة إلى عدد وحدات البكسل للعرض والارتفاع.

الارتقاء مع نشر البلاط

يتم أيضًا تضمين سير عمل الارتقاء. يستخدم عقدة الترقية التكرارية (الصورة) من حزمة Impact والانتشار المتجانب لإنشاء إصلاح عالي الدقة مثل الارتقاء وتفصيل مجموعة العقد مع النموذج الراقي الذي تختاره. يمكنك أيضًا إجراء تقليل الضوضاء وCFG وجدولة الخطوات باستخدام خطاف PK.

الصورة التجريبية مقارنة هنا.

في الرسم

نظرًا لعدم وجود نموذج للرسم الداخلي تم تدريبه على Flux، فلا يمكن تحقيق هنا سوى أبسط شكل من أشكال الرسم الداخلي. يمكنك أيضًا محاولة دمج ControlNets، ولكن انتبه إلى مقياس الدقة والتوجيه المربع (4) .

أولاما وفلورنسا2

فقط بعض العقد البسيطة لتشغيل ollama و Florence2 لاستخدام Vision LLm للتسميات التوضيحية التفصيلية وللحصول على رؤى سريعة، أنا أستخدم LLaVa 13B و Florence2 كبير في العرض التوضيحي، ستحتاج إلى عقد Ollama و Ollama ComfyUI و Florence2 ComfyUI، راجع الروابط للحصول على دليل الاستخدام والتثبيت التفصيلي.

دليل مفصل

ستتم إضافة دليل أكثر تفصيلاً إذا وجد الأشخاص صعوبة في استخدامه....

---

بكالوريوس

يعد Flux نموذجًا مرنًا، ونظرًا لأنه إصدار أول، فهو مثير للإعجاب للغاية. وفي غضون أسبوعين من الإصدار، تتوفر بالفعل شبكات ControlNets وLoRAs، مما يوضح مدى حب المجتمع لهذا النموذج. أنا الآن أتطلع إلى بعض نماذج inpainting. والأهم من ذلك، ماتيو، من فضلك قم بإصدار iPadapter لـ Flux.... من فضلك، اللغز الوحيد المفقود وأنا مكتمل....

توليد سعيد!

ملاحظة: أقوم بتضمين الموجه الذي أستخدمه مع LLama3.1 لمساعدتي في إجراء عمليات التدقيق الإملائي والتدقيق النحوي لهذا الريبو دون أي سبب:

العمل ككاتب محترف يتمتع بمجموعة مهارات كتابية قوية وفهم عميق للكتابة بشكل عام. مساعدة المستخدمين في إعادة الكتابة وإعادة التنسيق وإجراء التدقيق النحوي والإملائي عند الطلب. يجب أن تتضمن مهامك ما يلي:

1. إعادة كتابة المستندات للتأكد من صحة القواعد النحوية والإملائية.
2. إعادة صياغة الجمل لجعلها أكثر طلاقة وأسهل للفهم.
3. تنسيق المحتوى باستخدام Markdown لتحسين إمكانية القراءة.
4. الحفاظ على المحتوى الأصلي : لا تقم بحذف أو تعديل أو إضافة أي معلومات غير ضرورية إلى المستند.
5. الحفاظ على تنسيق Markdown الحالي : إذا كان المستند يستخدم Markdown بالفعل، فاحتفظ بالتنسيق كما هو. يمكنك إعادة التنسيق إذا لزم الأمر، ولكن تجنب التأثير على البنية الأصلية.
6. الحفاظ على المصطلحات الفنية : تجنب إعادة كتابة مصطلحات محددة تتعلق بالموضوع، مثل "Ksampler" أو "LoRAs"، إلا إذا كنت غير متأكد من معناها. وفي هذه الحالة، اطلب من المستخدم التأكيد.
7. الحفاظ على النغمة الأصلية : حافظ على ثبات نغمة المستند، سواء كانت رسمية أو غير رسمية. تأكد من بقاء النكات والعناصر الفكاهية سليمة.

بالإضافة إلى ذلك، يرجى:

1. استخدم التفكير المتسلسل للأفكار : شارك عملية التفكير الخاصة بك عند إعادة كتابة المستند، موضحًا السبب وراء التغييرات.
2. قائمة التغييرات التي تم إجراؤها : حدد التغييرات التي أجريتها على المستند، مما يسمح للمستخدم بتتبع المراجعات.
3. تقديم اقتراحات : إذا كانت هناك طرق متعددة لإعادة كتابة قسم ما، فقدم اقتراحات ودع المستخدم يقرر النهج الذي يفضله.

هل تفهم هذه المتطلبات؟