Colorización generativa de páginas web móviles estructuradas

Implementación oficial de Colorización Generativa de Páginas Web Móviles Estructuradas, WACV 2023.

ArXiv | Conjunto de datos | Modelos previamente entrenados

Configuración

Entorno de desarrollo

Ubuntu 22.04, Python 3.10.9, Poesía 1.2.2
CUDA 11.6, cuDNN 8.7.0
PyTorch 1.12.1, PyTorch Lightning 1.8.6, Biblioteca de gráficos profundos 0.9.1
(Para tomar capturas de pantalla) Google Chrome 108.0.5359.124, ChromeDriver 108.0.5359.71
(Para calcular violaciones de contraste) Lighthouse 9.6.8

Instalación

git clone https://github.com/CyberAgentAILab/webcolor.git
poetry install

Tenga en cuenta que no podemos garantizar ni admitir el funcionamiento en otros entornos, como Windows. Si desea instalar PyTorch o DGL para otras versiones de CUDA, edite las URL en pyproject.toml. Puede encontrar los comandos para instalar Chrome, ChromeDriver y Lighthouse en Ubuntu aquí.

Preparación de datos

./data/download.sh cache

Para obtener detalles sobre el conjunto de datos, consulte este documento.

Demostración de coloración

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
BASE_URL=https://storage.googleapis.com/ailab-public/webcolor/checkpoints
poetry run python demo.py --model $MODEL_NAME --ckpt_path ${BASE_URL} / ${MODEL_NAME} .ckpt --upsampler_path ${BASE_URL} /Upsampler.ckpt --target random --out_path output/screenshot.png --num_save 3 --save_gt

El comando anterior realiza la coloración automática utilizando modelos previamente entrenados y produce capturas de pantalla como la siguiente.

CVAE #1	CVAE #2	CVAE #3	Real

Capacitación

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
poetry run python -m webcolor.main fit --model $MODEL_NAME --trainer.accelerator gpu --trainer.devices 1

Los hiperparámetros del modelo se pueden enumerar con --model.help $MODEL_NAME .

Evaluación

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt  # Evaluate the pre-trained model
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt  # Evaluate your own trained model
poetry run python -m webcolor.main test --model $MODEL_NAME --ckpt_path $CKPT_PATH --trainer.default_root_dir /tmp --trainer.accelerator gpu --trainer.devices 1

El siguiente comando calcula Pixel-FCD y las infracciones de contraste y tarda mucho en completarse (unas cuatro horas con 24 trabajadores en nuestro entorno).

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt
UPSAMPLER_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/Upsampler.ckpt
# UPSAMPLER_PATH=lightning_logs/version_1/checkpoints/best.ckpt
poetry run python eval.py --num_workers 4 --model $MODEL_NAME --ckpt_path $CKPT_PATH --upsampler_path $UPSAMPLER_PATH

Para obtener detalles sobre los modelos previamente entrenados, consulte este documento.

Citación

 @inproceedings { Kikuchi2023 ,
    title = { Generative Colorization of Structured Mobile Web Pages } ,
    author = { Kotaro Kikuchi and Naoto Inoue and Mayu Otani and Edgar Simo-Serra and Kota Yamaguchi } ,
    booktitle = { IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) } ,
    year = { 2023 } ,
    pages = { 3639-3648 } ,
    doi = { 10.1109/WACV56688.2023.00364 }
}