Generative Kolorierung strukturierter mobiler Webseiten

Offizielle Implementierung von Generative Colorization of Structured Mobile Web Pages, WACV 2023.

ArXiv | Datensatz | Vorab trainierte Modelle

Aufstellen

Entwicklungsumgebung

Ubuntu 22.04, Python 3.10.9, Poetry 1.2.2
CUDA 11.6, cuDNN 8.7.0
PyTorch 1.12.1, PyTorch Lightning 1.8.6, Deep Graph Library 0.9.1
(Zum Erstellen von Screenshots) Google Chrome 108.0.5359.124, ChromeDriver 108.0.5359.71
(Zur Berechnung von Kontrastverletzungen) Lighthouse 9.6.8

Installation

git clone https://github.com/CyberAgentAILab/webcolor.git
poetry install

Beachten Sie, dass wir den Betrieb in anderen Umgebungen, wie z. B. Windows, nicht garantieren oder unterstützen können. Wenn Sie PyTorch oder DGL für andere CUDA-Versionen installieren möchten, bearbeiten Sie bitte die URLs in pyproject.toml. Die Befehle zur Installation von Chrome, ChromeDriver und Lighthouse unter Ubuntu finden Sie hier.

Datenaufbereitung

./data/download.sh cache

Einzelheiten zum Datensatz finden Sie in diesem Dokument.

Kolorierungsdemo

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
BASE_URL=https://storage.googleapis.com/ailab-public/webcolor/checkpoints
poetry run python demo.py --model $MODEL_NAME --ckpt_path ${BASE_URL} / ${MODEL_NAME} .ckpt --upsampler_path ${BASE_URL} /Upsampler.ckpt --target random --out_path output/screenshot.png --num_save 3 --save_gt

Der obige Befehl führt eine automatische Kolorierung mithilfe vorab trainierter Modelle durch und erzeugt Screenshots wie die folgenden.

CVAE Nr. 1	CVAE #2	CVAE #3	Real

Ausbildung

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
poetry run python -m webcolor.main fit --model $MODEL_NAME --trainer.accelerator gpu --trainer.devices 1

Modellhyperparameter können mit --model.help $MODEL_NAME aufgelistet werden.

Auswertung

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt  # Evaluate the pre-trained model
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt  # Evaluate your own trained model
poetry run python -m webcolor.main test --model $MODEL_NAME --ckpt_path $CKPT_PATH --trainer.default_root_dir /tmp --trainer.accelerator gpu --trainer.devices 1

Der folgende Befehl berechnet Pixel-FCD- und Kontrastverletzungen und dauert lange (etwa vier Stunden mit 24 Arbeitern in unserer Umgebung).

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt
UPSAMPLER_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/Upsampler.ckpt
# UPSAMPLER_PATH=lightning_logs/version_1/checkpoints/best.ckpt
poetry run python eval.py --num_workers 4 --model $MODEL_NAME --ckpt_path $CKPT_PATH --upsampler_path $UPSAMPLER_PATH

Einzelheiten zu den vorab trainierten Modellen finden Sie in diesem Dokument.

Zitat

 @inproceedings { Kikuchi2023 ,
    title = { Generative Colorization of Structured Mobile Web Pages } ,
    author = { Kotaro Kikuchi and Naoto Inoue and Mayu Otani and Edgar Simo-Serra and Kota Yamaguchi } ,
    booktitle = { IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) } ,
    year = { 2023 } ,
    pages = { 3639-3648 } ,
    doi = { 10.1109/WACV56688.2023.00364 }
}