التلوين التوليدي لصفحات الويب المتنقلة المنظمة

التنفيذ الرسمي للتلوين التوليدي لصفحات الويب المتنقلة المنظمة، WACV 2023.

اركايف | مجموعة البيانات | النماذج المدربة مسبقا

يثبت

بيئة التطوير

أوبونتو 22.04، بايثون 3.10.9، الشعر 1.2.2
كودا 11.6، كودن 8.7.0
PyTorch 1.12.1، PyTorch Lightning 1.8.6، مكتبة الرسم البياني العميق 0.9.1
(لأخذ لقطات الشاشة) Google Chrome 108.0.5359.124، ChromeDriver 108.0.5359.71
(لانتهاكات التباين الحسابي) Lighthouse 9.6.8

تثبيت

git clone https://github.com/CyberAgentAILab/webcolor.git
poetry install

لاحظ أنه لا يمكننا ضمان أو دعم التشغيل في بيئات أخرى، مثل Windows. إذا كنت ترغب في تثبيت PyTorch أو DGL لإصدارات CUDA الأخرى، فيرجى تعديل عناوين URL في pyproject.toml. يمكنك العثور على أوامر تثبيت Chrome وChromeDriver وLighthouse على Ubuntu هنا.

إعداد البيانات

./data/download.sh cache

للحصول على تفاصيل حول مجموعة البيانات، يرجى الاطلاع على هذه الوثيقة.

عرض التلوين

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
BASE_URL=https://storage.googleapis.com/ailab-public/webcolor/checkpoints
poetry run python demo.py --model $MODEL_NAME --ckpt_path ${BASE_URL} / ${MODEL_NAME} .ckpt --upsampler_path ${BASE_URL} /Upsampler.ckpt --target random --out_path output/screenshot.png --num_save 3 --save_gt

يقوم الأمر أعلاه بإجراء التلوين التلقائي باستخدام نماذج مدربة مسبقًا وينتج لقطات شاشة مثل ما يلي.

كفاي #1	كفاي #2	كفاي #3	حقيقي

تمرين

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
poetry run python -m webcolor.main fit --model $MODEL_NAME --trainer.accelerator gpu --trainer.devices 1

يمكن إدراج المعلمات الفائقة للنموذج باستخدام --model.help $MODEL_NAME .

تقييم

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt  # Evaluate the pre-trained model
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt  # Evaluate your own trained model
poetry run python -m webcolor.main test --model $MODEL_NAME --ckpt_path $CKPT_PATH --trainer.default_root_dir /tmp --trainer.accelerator gpu --trainer.devices 1

يحسب الأمر التالي انتهاكات Pixel-FCD والتباين ويستغرق وقتًا طويلاً لإكماله (حوالي أربع ساعات مع 24 عاملاً في بيئتنا).

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt
UPSAMPLER_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/Upsampler.ckpt
# UPSAMPLER_PATH=lightning_logs/version_1/checkpoints/best.ckpt
poetry run python eval.py --num_workers 4 --model $MODEL_NAME --ckpt_path $CKPT_PATH --upsampler_path $UPSAMPLER_PATH

للحصول على تفاصيل حول النماذج المدربة مسبقًا، يرجى الاطلاع على هذه الوثيقة.

الاقتباس

 @inproceedings { Kikuchi2023 ,
    title = { Generative Colorization of Structured Mobile Web Pages } ,
    author = { Kotaro Kikuchi and Naoto Inoue and Mayu Otani and Edgar Simo-Serra and Kota Yamaguchi } ,
    booktitle = { IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) } ,
    year = { 2023 } ,
    pages = { 3639-3648 } ,
    doi = { 10.1109/WACV56688.2023.00364 }
}