تطبيق مرجع ComfyUI لنماذج IPAdapter.
يعد IPadapter نماذج قوية جدًا لتكييف الصورة إلى الصورة. يمكن بسهولة نقل الموضوع أو حتى نمط الصورة (الصور) المرجعية إلى جيل. فكر في الأمر باعتباره لورا ذات صورة واحدة.
الراعي جيثب | باي بال
إذا أعجبك عملي وترغب في رؤية التحديثات والميزات الجديدة، فيرجى التفكير في رعاية مشاريعي.
ComfyUI IPadapter Plus
ComfyUI InstantID (أصلي)
أساسيات ComfyUI
تحليل الوجه ComfyUI
ناهيك عن الوثائق ومقاطع الفيديو التعليمية. تحقق من مقاطع الفيديو الخاصة بالفهم المتقدم لـ ComfyUI على YouTube، على سبيل المثال، الجزء 1 والجزء 2
الطريقة الوحيدة لإبقاء الكود مفتوحًا ومجانيًا هي رعاية تطويره. كلما زاد عدد الرعاية، زاد الوقت الذي يمكنني تخصيصه لمشاريعي مفتوحة المصدر.
يرجى النظر في رعاية Github أو التبرع عبر PayPal (Matteo "matt3o" Spinelli). للحصول على رعاية بقيمة 50 دولارًا أمريكيًا أو أكثر، أخبرني إذا كنت ترغب في أن يتم ذكرك في هذا الملف التمهيدي، يمكنك أن تجدني على Discord أو matt3o؟ gmail.com .
2024/09/13 : تم إصلاح الخلل السيئ في تصحيح الكتلة الوسطى الذي نحمله منذ البداية. لسوء الحظ، لن تكون الصور التي تم إنشاؤها هي نفسها تمامًا كما كانت من قبل. على أية حال، ليس للكتلة الوسطى تأثير كبير، لذا لا ينبغي أن تكون مشكلة كبيرة. لا يؤثر على نقل النمط أو التركيب، بل يؤثر على الأجيال الخطية فقط. لا أقوم عمومًا بالإبلاغ عن إصلاحات الأخطاء الصغيرة ولكن هذا قد يتسبب في نتائج مختلفة لذلك أعتقد أنه من الجدير بالذكر.
2024/08/02 : دعم Kolors FaceIDv2. يرجى التحقق من مثال سير العمل للحصول على أفضل الممارسات.
2024/07/26 : تمت إضافة دعم لدفعات الصور والرسوم المتحركة إلى ClipVision Enhancer.
2024/07/18 : دعم الألوان.
2024/07/17 : تمت إضافة عقدة ClipVision Enhancer التجريبية. لقد كانت مستوحاة بطريقة ما من ورقة Scaling on Scales ولكن التنفيذ مختلف بعض الشيء. يحاول IPAdapterClipVisionEnhancer الجديد التقاط التفاصيل الصغيرة عن طريق تقسيم التضمينات (بدلاً من الصورة في مساحة البكسل)، والنتيجة هي تضمين مرئي بدقة أعلى قليلاً دون أي تكلفة للأداء.
2024/07/11 : تمت إضافة نقل التكوين الدقيق (التخطيط) التجريبي. انها ليست جيدة مثل الاسلوب. embeds_scaling له تأثير كبير. ابدأ بقوة 0.8 وعزز 0.3 في SDXL و0.6 دفعة 0.35 في SD1.5.
2024/06/28 : تمت إضافة عقدة IPAdapter Precise Style Transfer . قم بزيادة خيار style_boost لتقليل نزيف طبقة التركيب. هام: يعمل بشكل أفضل في SDXL، ابدأ بـ style_boost بمقدار 2؛ بالنسبة إلى SD1.5، حاول زيادة الوزن بما يزيد قليلًا عن 1.0 واضبط style_boost على قيمة تتراوح بين -1 و+1، بدءًا من 0.
2024/06/22 : تمت إضافة style transfer precise ، مما يوفر نزيفًا أقل للتضمينات بين طبقات النمط والتكوين. يكون أحيانًا أفضل من نقل النمط القياسي خاصة إذا كانت الصورة المرجعية مختلفة تمامًا عن الصورة التي تم إنشاؤها. يعمل بشكل أفضل في SDXL من SD1.5.
2024/05/21 : تحسين تخصيص الذاكرة عند encode_batch_size . مفيد في الغالب للرسوم المتحركة الطويلة جدًا.
2024/05/02 : أضف encode_batch_size إلى العقدة الدفعية المتقدمة. يمكن أن يكون هذا مفيدًا للرسوم المتحركة التي تحتوي على الكثير من الإطارات لتقليل استخدام VRAM أثناء ترميز الصورة. يرجى ملاحظة أن النتائج ستكون مختلفة قليلاً بناءً على حجم الدفعة.
2024/04/27 : تمت إعادة هيكلة IPadapterWeights المفيدة في الغالب للرسوم المتحركة AnimateDiff.
2024/04/21 : تمت إضافة عقد التكييف الإقليمية لتبسيط إخفاء الانتباه وتكييف النص المقنع.
2024/04/16 : تمت إضافة دعم لنموذج SDXL غير القياسي الجديد (الرابط أدناه). إنه قوي جدًا ويميل إلى تجاهل تكييف النص. قم بتخفيض CFG إلى 3-4 أو استخدم عقدة RescaleCFG.
(تمت إزالة التحديثات القديمة لسهولة القراءة)
يحتوي دليل الأمثلة على العديد من مسارات العمل التي تغطي جميع وظائف IPAdapter.
ميزات IPAdapter الجديدة
نمط وتكوين محول IP
تتعلق مقاطع الفيديو التالية بالإصدار السابق من IPadapter، لكنها لا تزال تحتوي على معلومات قيمة.
فيديو الاستخدام الأساسي،؟ فيديو الميزات المتقدمة، ? فيديو لإخفاء الانتباه، ? ميزات الرسوم المتحركة الفيديو
قم بتنزيل أو استنساخ هذا المستودع داخل دليل ComfyUI/custom_nodes/ أو استخدم Manager. يتطلب IPadapter دائمًا أحدث إصدار من ComfyUI. إذا لم ينجح شيء ما تأكد من الترقية. انتبه إلى أن التحديث التلقائي للمدير لا يعمل أحيانًا وقد تحتاج إلى الترقية يدويًا.
يوجد الآن Unified Model Loader ، لكي يعمل، تحتاج إلى تسمية الملفات تمامًا كما هو موضح أدناه. تعمل أدوات التحميل القديمة مع أي اسم ملف ولكن يتعين عليك تحديدها يدويًا. يمكن وضع النماذج في الدلائل الفرعية.
تذكر أنه يمكنك أيضًا استخدام أي موقع مخصص لإعداد إدخال ipadapter في الملف extra_model_paths.yaml .
/ComfyUI/models/clip_vision
CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors، تنزيل وإعادة تسمية
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors، تنزيل وإعادة تسمية
clip-vit-large-patch14-336.bin، قم بتنزيله وإعادة تسميته فقط لنماذج Kolors
/ComfyUI/models/ipadapter ، قم بإنشائه إذا لم يكن موجودًا
ip-adapter_sd15.safetensors، النموذج الأساسي، متوسط القوة
ip-adapter_sd15_light_v11.bin، نموذج التأثير الخفيف
ip-adapter-plus_sd15.safetensors، موديل Plus، قوي جدًا
ip-adapter-plus-face_sd15.safetensors، نموذج الوجه، صور شخصية
ip-adapter-full-face_sd15.safetensors، نموذج وجه أقوى، وليس بالضرورة أفضل
يتطلب ip-adapter_sd15_vit-G.safetensors، الطراز الأساسي، جهاز تشفير رؤية مقطع bigG
ip-adapter_sdxl_vit-h.safetensors، نموذج SDXL
محول ip-plus_sdxl_vit-h.safetensors، طراز SDXL plus
محول IP-plus-face_sdxl_vit-h.safetensors، نموذج الوجه SDXL
يتطلب ip-adapter_sdxl.safetensors، طراز vit-G SDXL، جهاز تشفير رؤية مقطع bigG
تم إهمال ip-adapter_sd15_light.safetensors، الإصدار 1.0 من نموذج التأثير الخفيف
تتطلب نماذج FaceID insightface ، وتحتاج إلى تثبيته في بيئة ComfyUI لديك. تحقق من هذه المشكلة للحصول على المساعدة. تذكر أن معظم نماذج FaceID تحتاج أيضًا إلى LoRA.
لكي يعمل برنامج التحميل الموحد، يجب تسمية الملفات تمامًا كما هو موضح في القائمة أدناه.
/ComfyUI/models/ipadapter
ip-adapter-faceid_sd15.bin، نموذج FaceID الأساسي
محول IP-faceid-plusv2_sd15.bin، FaceID plus v2
ip-adapter-faceid-portrait-v11_sd15.bin، نقل نمط النص الفوري للصور
محول IP-faceid_sdxl.bin، معرف الوجه الأساسي لـ SDXL
محول IP-faceid-plusv2_sdxl.bin، SDXL plus v2
ip-adapter-faceid-portrait_sdxl.bin، نقل نمط موجه النص SDXL
ip-adapter-faceid-portrait_sdxl_unnorm.bin، نقل نمط قوي جدًا SDXL فقط
تم إهمال محول IP-faceid-plus_sd15.bin، FaceID plus v1
تم إهمال ip-adapter-faceid-portrait_sd15.bin، الإصدار 1 من النموذج العمودي
تتطلب معظم نماذج FaceID وجود LoRA. إذا كنت تستخدم IPAdapter Unified Loader FaceID فسيتم تحميله تلقائيًا إذا اتبعت اصطلاح التسمية. وإلا فسيتعين عليك تحميلها يدويًا، كن حذرًا حيث يجب أن يتم إقران كل نموذج FaceID مع LoRA الخاص به.
/ComfyUI/models/loras
ip-adapter-faceid_sd15_lora.safetensors
محول IP-faceid-plusv2_sd15_lora.safetensors
محول IP-faceid_sdxl_lora.safetensors، SDXL FaceID LoRA
محول IP-faceid-plusv2_sdxl_lora.safetensors، SDXL plus v2 LoRA
تم إهمال ip-adapter-faceid-plus_sd15_lora.safetensors، LoRA لنموذج FaceID plus v1 المهمل
جميع النماذج يمكن العثور عليها على Huggingface.
لقد قام المجتمع بإعداد بعض نماذج IPAdapter المثيرة للاهتمام.
/ComfyUI/models/ipadapter
ip_plus_composition_sd15.safetensors، التكوين العام يتجاهل الأسلوب والمحتوى، المزيد حول هذا الموضوع هنا
ip_plus_composition_sdxl.safetensors، إصدار SDXL
Kolors-IP-Adapter-Plus.bin، IPadapter Plus لنموذج Kolors
Kolors-IP-Adapter-FaceID-Plus.bin، IPadapter FaceIDv2 لنموذج Kolors. ملاحظة: تم تدريب Kolors على نموذج InsightFace antelopev2 ، وتحتاج إلى تنزيله يدويًا ووضعه داخل دليل models/inisghtface .
إذا كنت تعرف نماذج أخرى، فيرجى إبلاغي بذلك وسأقوم بإضافتها إلى المحمل الموحد.
هناك العديد من مسارات العمل المضمنة في دليل الأمثلة. يرجى التحقق منها قبل طلب الدعم.
عادةً ما تكون فكرة جيدة خفض weight إلى 0.8 على الأقل وزيادة عدد الخطوات. لزيادة الالتزام بالموجه، يمكنك محاولة تغيير نوع الوزن في عقدة IPAdapter Advanced .
أنا (ببطء) أقوم بتوثيق جميع العقد. يرجى التحقق من مرجع العقد.
يرجى التحقق من استكشاف الأخطاء وإصلاحها قبل نشر مشكلة جديدة. تذكر أيضًا التحقق من الإصدارات المغلقة السابقة.
