구조화된 모바일 웹 페이지의 생성적 색상화

구조화된 모바일 웹 페이지의 생성적 색상화(WACV 2023) 공식 구현.

ArXiv | 데이터세트 | 사전 학습된 모델

설정

개발 환경

우분투 22.04, 파이썬 3.10.9, 시 1.2.2
쿠다 11.6, cuDNN 8.7.0
PyTorch 1.12.1, PyTorch Lightning 1.8.6, 딥 그래프 라이브러리 0.9.1
(스크린샷 촬영용) Google Chrome 108.0.5359.124, ChromeDriver 108.0.5359.71
(대비 위반 계산용) Lighthouse 9.6.8

설치

git clone https://github.com/CyberAgentAILab/webcolor.git
poetry install

Windows 등 다른 환경에서의 작동을 보장하거나 지원할 수 없다는 점에 유의하세요. 다른 CUDA 버전용 PyTorch 또는 DGL을 설치하려면 pyproject.toml에서 URL을 편집하세요. 여기에서 Ubuntu에 Chrome, ChromeDriver 및 Lighthouse를 설치하는 명령을 찾을 수 있습니다.

데이터 준비

./data/download.sh cache

데이터 세트에 대한 자세한 내용은 이 문서를 참조하세요.

색상화 데모

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
BASE_URL=https://storage.googleapis.com/ailab-public/webcolor/checkpoints
poetry run python demo.py --model $MODEL_NAME --ckpt_path ${BASE_URL} / ${MODEL_NAME} .ckpt --upsampler_path ${BASE_URL} /Upsampler.ckpt --target random --out_path output/screenshot.png --num_save 3 --save_gt

위 명령은 사전 훈련된 모델을 사용하여 자동 색상화를 수행하고 다음과 같은 스크린샷을 생성합니다.

CVAE #1	CVAE #2	CVAE #3	진짜

훈련

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
poetry run python -m webcolor.main fit --model $MODEL_NAME --trainer.accelerator gpu --trainer.devices 1

모델 하이퍼파라미터는 --model.help $MODEL_NAME 으로 나열할 수 있습니다.

평가

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt  # Evaluate the pre-trained model
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt  # Evaluate your own trained model
poetry run python -m webcolor.main test --model $MODEL_NAME --ckpt_path $CKPT_PATH --trainer.default_root_dir /tmp --trainer.accelerator gpu --trainer.devices 1

다음 명령은 Pixel-FCD 및 대비 위반을 계산하며 완료하는 데 오랜 시간이 걸립니다(우리 환경에서 작업자가 24명인 경우 약 4시간).

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt
UPSAMPLER_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/Upsampler.ckpt
# UPSAMPLER_PATH=lightning_logs/version_1/checkpoints/best.ckpt
poetry run python eval.py --num_workers 4 --model $MODEL_NAME --ckpt_path $CKPT_PATH --upsampler_path $UPSAMPLER_PATH

사전 학습된 모델에 대한 자세한 내용은 이 문서를 참조하세요.

소환

 @inproceedings { Kikuchi2023 ,
    title = { Generative Colorization of Structured Mobile Web Pages } ,
    author = { Kotaro Kikuchi and Naoto Inoue and Mayu Otani and Edgar Simo-Serra and Kota Yamaguchi } ,
    booktitle = { IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) } ,
    year = { 2023 } ,
    pages = { 3639-3648 } ,
    doi = { 10.1109/WACV56688.2023.00364 }
}