IC-Light هو مشروع لمعالجة إضاءة الصور.
يرمز اسم "IC-Light" إلى "Impose Consistent Light" (سنصف ذلك بإيجاز في نهاية هذه الصفحة).
حاليًا، نقوم بإصدار نوعين من النماذج: نموذج إعادة الإضاءة المشروط بالنص والنموذج المكيف بالخلفية. يأخذ كلا النوعين الصور الأمامية كمدخلات.
بعض الأخبار حول التدفق هنا.
سيقوم البرنامج النصي أدناه بتشغيل نموذج إعادة الإضاءة المشروط بالنص:
git clone https://github.com/lllyasviel/IC-Light.git cd IC-Light conda create -n iclight python=3.10 conda activate iclight pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt python gradio_demo.py
أو لاستخدام العرض التوضيحي المكيف بالخلفية:
python gradio_demo_bg.py
تنزيل النموذج تلقائي.
لاحظ أن "gradio_demo.py" يحتوي على مساحة رسمية للمعانقة مع الوجه هنا.
(لاحظ أن "تفضيلات الإضاءة" هي مجرد عناصر كامنة أولية - على سبيل المثال، إذا كانت تفضيلات الإضاءة هي "يسار"، فسيتم ترك الإضاءة الكامنة الأولية باللون الأبيض واليمين باللون الأسود.)
مستعجل: امرأة جميلة، وجه مفصل، جو دافئ، في المنزل، غرفة النوم
تفضيلات الإضاءة: اليسار
المستعجل: امرأة جميلة، ذات وجه مفصل، وأشعة الشمس من النافذة
تفضيلات الإضاءة: اليسار
امرأة جميلة، وجه مفصل، نيون، وونغ كار واي، دافئ
تفضيلات الإضاءة: اليسار
موجه: امرأة جميلة، وجه مفصل، أشعة الشمس، في الهواء الطلق، جو دافئ
تفضيلات الإضاءة: صحيح
موجه: امرأة جميلة، وجه مفصل، أشعة الشمس، في الهواء الطلق، جو دافئ
تفضيلات الإضاءة: اليسار
المستعجل: امرأة جميلة، ذات وجه مفصل، وأشعة الشمس من النافذة
تفضيلات الإضاءة: صحيح
موجه: امرأة جميلة، وجه مفصل، ظل من النافذة
تفضيلات الإضاءة: اليسار
موجه: امرأة جميلة، وجه مفصل، غروب الشمس فوق البحر
تفضيلات الإضاءة: صحيح
موجه: فتى وسيم، وجه مفصل، ضوء النيون، المدينة
تفضيلات الإضاءة: اليسار
المستعجل: المرأة الجميلة، ذات الوجه المفصل، والنور والظل
تفضيلات الإضاءة: اليسار
(امرأة جميلة، وجه مفصل، إضاءة الاستوديو الناعمة)
مستعجل: بوذا، وجه مفصل، الخيال العلمي RGB المتوهج، السايبربانك
تفضيلات الإضاءة: اليسار
مستعجل: بوذا، وجه مفصل، إضاءة طبيعية
تفضيلات الإضاءة: اليسار
موجه: لعبة، وجه مفصل، ظل من النافذة
تفضيلات الإضاءة: القاع
مستعجل: لعبة، وجه مفصل، غروب الشمس فوق البحر
تفضيلات الإضاءة: صحيح
مستعجل: كلب، إضاءة سحرية، توهج الخيال العلمي RGB، إضاءة الاستوديو
تفضيلات الإضاءة: القاع
مستعجل: إنسان غامض، جو دافئ، جو دافئ، في المنزل، غرفة النوم
تفضيلات الإضاءة: صحيح
لا يتطلب النموذج المشروط بالخلفية مطالبة دقيقة. يمكن للمرء فقط استخدام مطالبات بسيطة مثل "رجل وسيم، إضاءة سينمائية".
تصور أكثر تنظيما:
في مساحة HDR، تتمتع الإضاءة بخاصية مفادها أن جميع عمليات نقل الضوء مستقلة.
ونتيجة لذلك، فإن مزج مظاهر مصادر الضوء المختلفة يعادل المظهر مع مصادر الضوء المختلطة:
باستخدام مرحلة الإضاءة المذكورة أعلاه كمثال، تكون الصورتان من "خليط المظهر" و"خليط مصدر الضوء" متسقتين (مكافئتان رياضيًا في مساحة HDR، بشكل مثالي).
لقد فرضنا مثل هذا الاتساق (باستخدام MLPs في الفضاء الكامن) عند تدريب نماذج إعادة الإضاءة.
ونتيجة لذلك، فإن النموذج قادر على إنتاج إضاءة متسقة للغاية - متسقة للغاية بحيث يمكن دمج عمليات إعادة الإضاءة المختلفة كخرائط عادية! على الرغم من أن النماذج هي الانتشار الكامن.
من اليسار إلى اليمين توجد المدخلات، وإعادة إضاءة مخرجات النموذج، وصورة الظل المقسمة، والخرائط العادية المدمجة. لاحظ أن النموذج لم يتم تدريبه باستخدام أي بيانات خريطة عادية. يأتي هذا التقدير الطبيعي من اتساق إعادة الإضاءة.
يمكنك إعادة إنتاج هذه التجربة باستخدام هذا الزر (إنه أبطأ بمقدار 4 مرات لأنه يعيد إضاءة الصورة 4 مرات)
فيما يلي صور أكبر (لا تتردد في تجربة نفسك للحصول على المزيد من النتائج!)
كمرجع، Geowizard (المعالج الجغرافي عمل رائع حقًا!):
والمصباح الكهربائي (المصباح الكهربائي هو عمل رائع آخر!):
iclight_sd15_fc.safetensors - نموذج إعادة الإضاءة الافتراضي، المشروط بالنص والمقدمة. يمكنك استخدام الكامنة الأولية للتأثير على إعادة الإضاءة.
iclight_sd15_fcon.safetensors - مثل "iclight_sd15_fc.safetensors" ولكن تم تدريبه على ضوضاء الإزاحة. لاحظ أن "iclight_sd15_fc.safetensors" الافتراضي يتفوق على هذا النموذج قليلاً في دراسة المستخدم. وهذا هو السبب في أن النموذج الافتراضي هو النموذج بدون ضوضاء الإزاحة.
iclight_sd15_fbc.safetensors - نموذج إعادة إضاءة مشروط بالنص والمقدمة والخلفية.
لاحظ أيضًا أن BRIA RMBG 1.4 الأصلي مخصص للاستخدام غير التجاري. إذا كنت تستخدم IC-Light في المشاريع التجارية، فاستبدله ببديل آخر للخلفية مثل BiRefNet.
@Misc{iclight,
author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
title = {IC-Light GitHub Page},
year = {2024},
}إقرأ أيضاً...
إعادة الإضاءة الكاملة: تعلم إعادة إضاءة الصور الشخصية لاستبدال الخلفية
تنسيق رائع: استبدال الخلفية الشخصية مع مراعاة الإضاءة
SwitchLight: التصميم المشترك للهندسة المعمارية القائمة على الفيزياء وإطار التدريب المسبق لإعادة إضاءة الصور البشرية
