يستخدم هذا العمل نماذج الانتشار لتنفيذ تقنيات التعبئة التوليدية مثل كشف الصورة، والرسم الداخلي، والتوسيع، وتقنيات التعبئة التوليدية المختلفة.
رسم الصورة (الصورة الأصلية، الصورة المقنعة، الصورة المعاد بناؤها)
تم إنشاء DDPM (تم تدريبه وإنشاءه باستخدام مجموعة بيانات المناظر الطبيعية).
تم إنشاء LDM (تم تدريبه على COCO وتم إنشاؤه باستخدام مجموعة بيانات المناظر الطبيعية).
أخذ العينات مع COCO
يمكن العثور على المزيد من الصور التي تم إنشاؤها في النتائج
تحقق من تنفيذ DDPM الخاص بي.
يتضمن هذا الريبو التعبئة التوليدية باستخدام DDPM. لإجراء نفس الشيء باستخدام LDM، راجع مستودع LDM الخاص بي هنا. يحتوي مجلد ldm-genfill الموجود في هذا الريبو فقط على ملفات تكوين النموذج لإجراء التعبئة التوليدية باستخدام نماذج ldm. لذلك، استخدم التنفيذ في مستودع LDM الخاص بي مع ملفات التكوين في هذا المستودع. العرض التوضيحي والتعليمات الأخرى لجميع تكييفات LDM متاحة في مستودع LDM.
تبدو المناطق غير المقنعة حاليًا من DDPM أكثر صلة بالسياق مقارنة بـ LDM حيث يعمل DDPM مباشرة على الصور. يؤدي استخدام تكييف النص والفئة لدعم GenFill إلى تحسين قدرة التعبئة السياقية بشكل طفيف وقد يتحسن أيضًا التدريب الإضافي. قد تكون هناك خطط لإجراء تحسينات في وقت لاحق.
التحديثات الأخيرة