IP Adapter

IP-ADAPTER: محول موجه صورة متوافق مع نص نماذج نشر النص إلى صورة

---

مقدمة

نقدم ADAPTER IP ، وهو محول فعال وخفيف الوزن لتحقيق إمكانية تأثير الصورة لنماذج نشر النص على الصورة المدربة مسبقًا. يمكن أن تحقق معلمة IP التي تحتوي على 22 مترًا فقط أداءً قابلاً للمقارنة أو حتى أفضل لنموذج موجه الصورة المضبوط. يمكن تعميم IP-ADAPTER ليس فقط على الطرز المخصصة الأخرى التي تم ضبطها من نفس النموذج الأساسي ، ولكن أيضًا إلى توليد يمكن التحكم فيه باستخدام أدوات قابلة للتحكم الحالية. علاوة على ذلك ، يمكن أن تعمل موجه الصورة بشكل جيد مع موجه النص لإنجاز توليد الصور متعددة الوسائط.

يطلق

• [2024/01/19] إضافة IP-Adapter-Faceid-Portrait ، يمكن العثور على مزيد من المعلومات هنا.
• [2024/01/17] إضافة نسخة تجريبية من IP-Adapter-Faceid-Plusv2 لـ SDXL ، يمكن العثور على مزيد من المعلومات هنا.
• [2024/01/04] إضافة نسخة تجريبية من IP-Adapter-Faceid لـ SDXL ، يمكن العثور على مزيد من المعلومات هنا.
• [2023/12/29] إضافة نسخة تجريبية من IP-Adapter-Faceid-Plusv2 ، يمكن العثور على مزيد من المعلومات هنا.
• [2023/12/27] إضافة نسخة تجريبية من IP-Adapter-Faceid-Plus ، يمكن العثور على مزيد من المعلومات هنا.
• [2023/12/20] إضافة نسخة تجريبية من IP-Adapter-Faceid ، يمكن العثور على مزيد من المعلومات هنا.
• [2023/11/22] يتوفر IP-Adapter في الناشرون بفضل فريق الناشرون.
• [2023/11/10] أضف نسخة محدثة من IP-Adapter-Face. العرض التوضيحي هنا.
• [2023/11/05] أضف العرض التوضيحي text-to-image مع IP-Adapter و Kandinsky 2.2 PROM
• [2023/11/02] دعم Safetensors
• [2023/9/08] قم بتحديث إصدار جديد من IP-Adapter مع SDXL_1.0. يمكن العثور على مزيد من المعلومات هنا.
• [2023/9/05] يتم دعم IP-Adapter في Webui و Comfyui (أو comfyui_ipadapter_plus).
• [2023/8/30] إضافة IP-ADAPTER مع صورة الوجه كما هو موجه. العرض التوضيحي هنا.
• [2023/8/29] حرر رمز التدريب.
• [2023/8/23] أضف رمزًا ونماذج من IP-Adapter مع ميزات دقيقة. العرض التوضيحي هنا.
• [2023/8/18] أضف رمزًا ونماذج لـ SDXL 1.0. العرض التوضيحي هنا.
• [2023/8/16] نقوم بإصدار الكود والنماذج.

تثبيت

 # install latest diffusers
pip install diffusers==0.22.1

# install ip-adapter
pip install git+https://github.com/tencent-ailab/IP-Adapter.git

# download the models
cd IP-Adapter
git lfs install
git clone https://huggingface.co/h94/IP-Adapter
mv IP-Adapter/models models
mv IP-Adapter/sdxl_models sdxl_models

# then you can use the notebook

تنزيل النماذج

يمكنك تنزيل النماذج من هنا. لتشغيل العرض التوضيحي ، يجب عليك أيضًا تنزيل النماذج التالية:

• Runwayml/مستقر الانتشار-V1-5
• الاستقرار/sd-vae-ft-mse
• SG161222/Realistic_vision_v4.0_novae
• نماذج ControlNet

كيفية استخدام

SD_1.5

• IP_ADAPTER_DEMO : اختلافات الصور ، صورة إلى صورة ، و inpainting مع موجه الصورة.

• IP_ADAPTER_CONTROLNET_DEMO ، IP_ADAPTER_T2I-ADAPTER : الجيل الهيكلي مع موجه الصورة.

• IP_ADAPTER_MULTIMODAL_PROMPTS_DEMO : جيل مع مطالبات متعددة الوسائط.

• IP_ADAPTER-PLUS_DEMO : العرض التوضيحي لـ IP-ADAPTER مع ميزات دقيقة.

• IP_ADAPTER-PLUS-FACE_DEMO : جيل مع صورة الوجه كما هو موجه.

أفضل الممارسات

• إذا كنت تستخدم موجه الصورة فقط ، فيمكنك تعيين scale=1.0 و text_prompt="" (أو بعض مطالبات النص العام ، على سبيل المثال "أفضل جودة" ، يمكنك أيضًا استخدام أي موجه نص سلبي). إذا قمت بتخفيض scale ، فيمكن إنشاء صور أكثر تنوعًا ، لكنها قد لا تكون متسقة مع موجه الصورة.
• لمطالبات متعددة الوسائط ، يمكنك ضبط scale للحصول على أفضل النتائج. في معظم الحالات ، يمكن أن يحصل ضبط scale=0.5 على نتائج جيدة. لإصدار SD 1.5 ، نوصي باستخدام نماذج المجتمع لإنشاء صور جيدة.

IP-Adapter للصور غير المربعة

نظرًا لأن الصورة يتم اقتصاصها في معالج الصور الافتراضي للمقطع ، فإن IP-Adapter يعمل بشكل أفضل للصور المربعة. بالنسبة للصور غير المربعة ، ستفقد المعلومات خارج المركز. ولكن يمكنك فقط تغيير الحجم إلى 224 × 224 للصور غير المربعة ، فإن المقارنة هي كما يلي:

SDXL_1.0

• IP_ADAPTER_SDXL_DEMO : اختلافات الصورة مع موجه الصورة.
• IP_ADAPTER_SDXL_CONTROLNET_DEMO : الجيل الهيكلي مع موجه الصورة.

يتم عرض مقارنة IP-ADAPTER_XL مع REAMAGINE XL على النحو التالي:

تحسينات في الإصدار الجديد (2023.9.8) :

• قم بالتبديل إلى Clip-Vit-H : لقد قمنا بتدريب IP-Adapter الجديد باستخدام OpenClip-VIT-H-14 بدلاً من OpenClip-VIT-BIGG-14. على الرغم من أن VIT-BIGG أكبر بكثير من VIT-H ، إلا أن نتائجنا التجريبية لم تجد فرقًا كبيرًا ، ويمكن للنموذج الأصغر أن يقلل من استخدام الذاكرة في مرحلة الاستدلال.
• وصفة تدريب أسرع وأفضل : في نسختنا السابقة ، أثبت التدريب مباشرة على قرار 1024 × 1024 أنه غير فعال للغاية. ومع ذلك ، في الإصدار الجديد ، قمنا بتنفيذ استراتيجية تدريب أكثر فعالية على مرحلتين. أولاً ، نقوم بإجراء التدريب المسبق بدقة 512x512. بعد ذلك ، نستخدم استراتيجية متعددة النطاق للضبط. (ربما يمكن أيضًا استخدام استراتيجية التدريب هذه لتسريع تدريب ControlNet).

كيف تتدرب

للتدريب ، يجب عليك تثبيت التسريع وجعل مجموعة البيانات الخاصة بك في ملف JSON.

 accelerate launch --num_processes 8 --multi_gpu --mixed_precision "fp16" 
  tutorial_train.py 
  --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5/" 
  --image_encoder_path="{image_encoder_path}" 
  --data_json_file="{data.json}" 
  --data_root_path="{image_path}" 
  --mixed_precision="fp16" 
  --resolution=512 
  --train_batch_size=8 
  --dataloader_num_workers=4 
  --learning_rate=1e-04 
  --weight_decay=0.01 
  --output_dir="{output_dir}" 
  --save_steps=10000

بمجرد اكتمال التدريب ، يمكنك تحويل الأوزان بالرمز التالي:

 import torch
ckpt = "checkpoint-50000/pytorch_model.bin"
sd = torch . load ( ckpt , map_location = "cpu" )
image_proj_sd = {}
ip_sd = {}
for k in sd :
    if k . startswith ( "unet" ):
        pass
    elif k . startswith ( "image_proj_model" ):
        image_proj_sd [ k . replace ( "image_proj_model." , "" )] = sd [ k ]
    elif k . startswith ( "adapter_modules" ):
        ip_sd [ k . replace ( "adapter_modules." , "" )] = sd [ k ]

torch . save ({ "image_proj" : image_proj_sd , "ip_adapter" : ip_sd }, "ip_adapter.bin" )

استخدام الطرف الثالث

• IP-ADAPTER لـ WebUI [ملاحظات الإصدار]
• IP-Adapter لـ comfyui [ipadapter-comfyui أو comfyui_ipadapter_plus]
• IP-Adapter لـ Invokeai [ملاحظات الإصدار]
• IP-ADAPTER للسفر السريع
• Diffusers_ipadapter: المزيد من الميزات مثل دعم صور الإدخال المتعددة
• الناشرون الرسميون
• InstantStyle: نقل النمط على أساس IP-Adapter

تنصل

يسعى هذا المشروع إلى التأثير بشكل إيجابي على مجال توليد الصور الذي يحركه AI. يتم منح المستخدمين حرية إنشاء صور باستخدام هذه الأداة ، لكن من المتوقع أن يمتثلوا للقوانين المحلية واستخدامها بطريقة مسؤولة. لا يتحمل المطورون أي مسؤولية عن إساءة استخدام المستخدمين المحتملين.

اقتباس

إذا وجدت IP-Adapter مفيدة للبحث والتطبيقات الخاصة بك ، فيرجى الاستشهاد باستخدام هذا bibtex:

 @article { ye2023ip-adapter ,
  title = { IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models } ,
  author = { Ye, Hu and Zhang, Jun and Liu, Sibo and Han, Xiao and Yang, Wei } ,
  booktitle = { arXiv preprint arxiv:2308.06721 } ,
  year = { 2023 }
}