Pewarnaan Generatif pada Halaman Web Seluler Terstruktur

Implementasi resmi Pewarnaan Generatif pada Halaman Web Seluler Terstruktur, WACV 2023.

ArXiv | Kumpulan data | Model terlatih

Pengaturan

Lingkungan pengembangan

Ubuntu 22.04, Python 3.10.9, Puisi 1.2.2
CUDA 11.6, cuDNN 8.7.0
PyTorch 1.12.1, PyTorch Lightning 1.8.6, Perpustakaan Grafik Dalam 0.9.1
(Untuk mengambil tangkapan layar) Google Chrome 108.0.5359.124, ChromeDriver 108.0.5359.71
(Untuk menghitung pelanggaran kontras) Lighthouse 9.6.8

Instalasi

git clone https://github.com/CyberAgentAILab/webcolor.git
poetry install

Perhatikan bahwa kami tidak dapat menjamin atau mendukung pengoperasian di lingkungan lain, seperti Windows. Jika Anda ingin menginstal PyTorch atau DGL untuk versi CUDA lainnya, harap edit URL di pyproject.toml. Anda dapat menemukan perintah untuk menginstal Chrome, ChromeDriver, dan Lighthouse di Ubuntu di sini.

Persiapan data

./data/download.sh cache

Untuk detail tentang kumpulan data, silakan lihat dokumen ini.

Demo pewarnaan

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
BASE_URL=https://storage.googleapis.com/ailab-public/webcolor/checkpoints
poetry run python demo.py --model $MODEL_NAME --ckpt_path ${BASE_URL} / ${MODEL_NAME} .ckpt --upsampler_path ${BASE_URL} /Upsampler.ckpt --target random --out_path output/screenshot.png --num_save 3 --save_gt

Perintah di atas melakukan pewarnaan otomatis menggunakan model terlatih dan menghasilkan tangkapan layar seperti berikut.

CVAE #1	CVAE #2	CVAE #3	Nyata

Pelatihan

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
poetry run python -m webcolor.main fit --model $MODEL_NAME --trainer.accelerator gpu --trainer.devices 1

Hyperparameter model dapat dicantumkan dengan --model.help $MODEL_NAME .

Evaluasi

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt  # Evaluate the pre-trained model
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt  # Evaluate your own trained model
poetry run python -m webcolor.main test --model $MODEL_NAME --ckpt_path $CKPT_PATH --trainer.default_root_dir /tmp --trainer.accelerator gpu --trainer.devices 1

Perintah berikut menghitung pelanggaran Pixel-FCD dan kontras serta membutuhkan waktu lama untuk menyelesaikannya (sekitar empat jam dengan 24 pekerja di lingkungan kami).

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt
UPSAMPLER_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/Upsampler.ckpt
# UPSAMPLER_PATH=lightning_logs/version_1/checkpoints/best.ckpt
poetry run python eval.py --num_workers 4 --model $MODEL_NAME --ckpt_path $CKPT_PATH --upsampler_path $UPSAMPLER_PATH

Untuk detail tentang model terlatih, silakan lihat dokumen ini.

Kutipan

 @inproceedings { Kikuchi2023 ,
    title = { Generative Colorization of Structured Mobile Web Pages } ,
    author = { Kotaro Kikuchi and Naoto Inoue and Mayu Otani and Edgar Simo-Serra and Kota Yamaguchi } ,
    booktitle = { IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) } ,
    year = { 2023 } ,
    pages = { 3639-3648 } ,
    doi = { 10.1109/WACV56688.2023.00364 }
}