MagicMix

ماجيك ميكس

تنفيذ MagicMix: ورقة المزج الدلالي مع نماذج الانتشار.

الهدف من هذه الطريقة هو مزج مفهومين مختلفين بطريقة دلالية لتجميع مفهوم جديد مع الحفاظ على التخطيط المكاني والهندسة.

تأخذ الطريقة صورة توفر دلالات التخطيط وموجهًا يوفر دلالات المحتوى لعملية الخلط.

هناك 3 معلمات للطريقة-

• v : هو ثابت الاستيفاء المستخدم في مرحلة إنشاء التخطيط. كلما زادت قيمة v، زاد تأثير الموجه على عملية إنشاء التخطيط.
• kmax و kmin : يحددان النطاق لعملية التخطيط وإنشاء المحتوى. تؤدي القيمة الأعلى لـ kmax إلى فقدان مزيد من المعلومات حول تخطيط الصورة الأصلية وتؤدي القيمة الأعلى لـ kmin إلى المزيد من الخطوات لعملية إنشاء المحتوى.

الاستخدام

 from PIL import Image
from magic_mix import magic_mix

img = Image . open ( 'phone.jpg' )
out_img = magic_mix ( img , 'bed' , kmax = 0.5 )
out_img . save ( "mix.jpg" )

 python3 magic_mix.py 
    "phone.jpg" 
    "bed" 
    "mix.jpg" 
    --kmin 0.3 
    --kmax 0.6 
    --v 0.5 
    --steps 50 
    --seed 42 
    --guidance_scale 7.5

قم أيضًا بمراجعة دفتر الملاحظات التجريبي للحصول على سبيل المثال استخدام التنفيذ لإعادة إنتاج أمثلة من الورقة.

يمكنك أيضًا استخدام خط أنابيب المجتمع في مكتبة الناشرين.

 from diffusers import DiffusionPipeline , DDIMScheduler
from PIL import Image

pipe = DiffusionPipeline . from_pretrained (
    "CompVis/stable-diffusion-v1-4" ,
    custom_pipeline = "magic_mix" ,
    scheduler = DDIMScheduler . from_pretrained ( "CompVis/stable-diffusion-v1-4" , subfolder = "scheduler" ),
). to ( 'cuda' )

img = Image . open ( 'phone.jpg' )
mix_img = pipe (
    img , 
    prompt = 'bed' , 
    kmin = 0.3 ,
    kmax = 0.5 ,
    mix_factor = 0.5 ,
    )
mix_img . save ( 'mix.jpg' )

بعض الأمثلة مستنسخة من الورقة:

صورة الإدخال:

مستعجل: "السرير"

صورة الإخراج:

صورة الإدخال:

عاجل: "العائلة"

صورة الإخراج:

صورة الإدخال:

عاجل: "الآيس كريم"

صورة الإخراج:

صورة الإدخال:

عاجل: "كعكة"

صورة الإخراج:

ملحوظة

أنا لست مؤلف هذه الورقة، وهذا ليس تنفيذا رسميا