結構化行動網頁的生成著色

結構化行動網頁產生彩色化的正式實施，WACV 2023。

ArXiv |數據集 |預訓練模型

設定

開發環境

Ubuntu 22.04、Python 3.10.9、詩 1.2.2
CUDA 11.6、cuDNN 8.7.0
PyTorch 1.12.1、PyTorch Lightning 1.8.6、深度圖庫 0.9.1
（用於截圖）Google Chrome 108.0.5359.124、ChromeDriver 108.0.5359.71
（用於計算對比違規）Lighthouse 9.6.8

安裝

git clone https://github.com/CyberAgentAILab/webcolor.git
poetry install

請注意，我們無法保證或支援在其他環境（例如 Windows）中的操作。如果您希望為其他 CUDA 版本安裝 PyTorch 或 DGL，請編輯 pyproject.toml 中的 URL。您可以在此處找到在 Ubuntu 上安裝 Chrome、ChromeDriver 和 Lighthouse 的命令。

資料準備

./data/download.sh cache

有關資料集的詳細信息，請參閱此文件。

著色示範

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
BASE_URL=https://storage.googleapis.com/ailab-public/webcolor/checkpoints
poetry run python demo.py --model $MODEL_NAME --ckpt_path ${BASE_URL} / ${MODEL_NAME} .ckpt --upsampler_path ${BASE_URL} /Upsampler.ckpt --target random --out_path output/screenshot.png --num_save 3 --save_gt

上面的命令使用預先訓練的模型執行自動著色，並產生如下所示的螢幕截圖。

CVAE #1	CVAE #2	CVAE#3	真實的

訓練

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
poetry run python -m webcolor.main fit --model $MODEL_NAME --trainer.accelerator gpu --trainer.devices 1

模型超參數可以使用--model.help $MODEL_NAME列出。

評估

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt  # Evaluate the pre-trained model
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt  # Evaluate your own trained model
poetry run python -m webcolor.main test --model $MODEL_NAME --ckpt_path $CKPT_PATH --trainer.default_root_dir /tmp --trainer.accelerator gpu --trainer.devices 1

以下命令計算 Pixel-FCD 和對比度違規，需要很長時間才能完成（在我們的環境中有 24 個工作人員，大約需要四個小時）。

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt
UPSAMPLER_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/Upsampler.ckpt
# UPSAMPLER_PATH=lightning_logs/version_1/checkpoints/best.ckpt
poetry run python eval.py --num_workers 4 --model $MODEL_NAME --ckpt_path $CKPT_PATH --upsampler_path $UPSAMPLER_PATH

有關預訓練模型的詳細信息，請參閱此文件。

引文

 @inproceedings { Kikuchi2023 ,
    title = { Generative Colorization of Structured Mobile Web Pages } ,
    author = { Kotaro Kikuchi and Naoto Inoue and Mayu Otani and Edgar Simo-Serra and Kota Yamaguchi } ,
    booktitle = { IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) } ,
    year = { 2023 } ,
    pages = { 3639-3648 } ,
    doi = { 10.1109/WACV56688.2023.00364 }
}