DLT

[ICCV 23] DLT: إنشاء تخطيط مشروط باستخدام محول تخطيط الانتشار المنفصل والمستمر المشترك

يعد هذا المستودع تطبيقًا رسميًا لورقة DLT. يرجى الرجوع إلى الورقة لمزيد من التفاصيل وصفحة المشروع للحصول على نظرة عامة.

غير مشروط	فئة	الفئة + الحجم

بيئة التطوير

• نظام التشغيل: أوبونتو 18.04
• إصدار كودا: 11.6
• إصدار بايثون: 3.9

متطلبات

يتم سرد جميع المتطلبات ذات الصلة في Environment.yml. نوصي باستخدام conda لإنشاء البيئة المناسبة وتثبيت التبعيات:

conda env create -f environment.yml
conda activate dlt

مجموعات البيانات

يرجى تنزيل مجموعات البيانات العامة على صفحات الويب التالية. ضعه في المجلد الخاص بك وقم بتحديث ./dlt/configs/remote/dataset_config.yaml وفقًا لذلك.

1. ريكو
2. بوبلاي نت
3. مجلة

تمرين

يمكنك تدريب النموذج باستخدام أي برنامج نصي للتكوين في مجلد التكوينات. على سبيل المثال، إذا كنت ترغب في تدريب نموذج DLT المقدم على مجموعة بيانات publaynet، يكون الأمر كما يلي:

 cd dlt
python main.py --config configs/remote/dlt_publaynet_config.yaml --workdir < WORKDIR >

من فضلك، راجع أن هذا الرمز لا يعرف المسرع. إذا كنت لا ترغب في تسجيل النتائج إلى wandb، فما عليك سوى تعيين --workdir test في args.

تقييم

لإنشاء عينات للتقييم على مجموعة الاختبار، اتبع الخطوات التالية:

• تدريب النموذج باستخدام الأمر أعلاه
• قم بتشغيل الأمر التالي:

 # put weights in config.logs folder
DATASET = " publaynet " # or "rico" or "magazine"
python generate_samples.py --config configs/remote/dlt_{ $DATASET }_config.yaml \
                           --workdir < WORKDIR > --epoch < EPOCH > --cond_type < COND_TYPE > \
                           --save True
# get all the metrics 
# update path to pickle file in dlt/evaluation/metric_comp.py
./download_fid_model.sh
python metric_comp.py

حيث يمكن أن يكون <COND_TYPE> : (all، full_box، loc) - (غير مشروط، فئة، فئة+حجم) على التوالي، <EPOCH> هو رقم العصر للنموذج الذي تريد تقييمه، و <WORKDIR> هو المسار إلى المجلد الذي يتم فيه حفظ أوزان النموذج (مثل rico_final). سيتم حفظ العينات التي تم إنشاؤها في مجلد logs/<WORKDIR>/samples إذا كان save صحيحًا.

الناتج منه هو ملف مخلل مع العينات التي تم إنشاؤها. يمكنك استخدامه لحساب المقاييس.

يحتوي المجلد الذي يحتوي على الأوزان بعد التدريب على هذا الهيكل:

 logs
├── magazine_final
│   ├── checkpoints
│   └── samples
├── publaynet_final
│   ├── checkpoints
│   └── samples
└── rico_final
    ├── checkpoints
    └── samples

الاقتباس

إذا وجدت هذا الكود مفيدًا لبحثك، فيرجى الاستشهاد بمقالتنا:

 @misc{levi2023dlt,
      title={DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer},
      author={Elad Levi and Eli Brosh and Mykola Mykhailych and Meir Perez},
      year={2023},
      eprint={2303.03755},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}