การสร้างสีสันของหน้าเว็บบนมือถือที่มีโครงสร้าง

การใช้งานอย่างเป็นทางการของ Generative Colorization ของหน้าเว็บบนมือถือที่มีโครงสร้าง, WACV 2023

อาร์ซิฟ | ชุดข้อมูล | โมเดลที่ได้รับการฝึกอบรมล่วงหน้า

ตั้งค่า

สภาพแวดล้อมการพัฒนา

Ubuntu 22.04, Python 3.10.9, บทกวี 1.2.2
CUDA 11.6, cuDNN 8.7.0
PyTorch 1.12.1, PyTorch Lightning 1.8.6, ไลบรารีกราฟลึก 0.9.1
(สำหรับการถ่ายภาพหน้าจอ) Google Chrome 108.0.5359.124, ChromeDriver 108.0.5359.71
(สำหรับการละเมิดคอนทราสต์ในการคำนวณ) Lighthouse 9.6.8

การติดตั้ง

git clone https://github.com/CyberAgentAILab/webcolor.git
poetry install

โปรดทราบว่าเราไม่สามารถรับประกันหรือสนับสนุนการทำงานในสภาพแวดล้อมอื่น เช่น Windows หากคุณต้องการติดตั้ง PyTorch หรือ DGL สำหรับ CUDA เวอร์ชันอื่นๆ โปรดแก้ไข URL ใน pyproject.toml คุณสามารถค้นหาคำสั่งในการติดตั้ง Chrome, ChromeDriver และ Lighthouse บน Ubuntu ได้ที่นี่

การเตรียมข้อมูล

./data/download.sh cache

สำหรับรายละเอียดเกี่ยวกับชุดข้อมูล โปรดดูเอกสารนี้

สาธิตการทำสี

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
BASE_URL=https://storage.googleapis.com/ailab-public/webcolor/checkpoints
poetry run python demo.py --model $MODEL_NAME --ckpt_path ${BASE_URL} / ${MODEL_NAME} .ckpt --upsampler_path ${BASE_URL} /Upsampler.ckpt --target random --out_path output/screenshot.png --num_save 3 --save_gt

คำสั่งดังกล่าวดำเนินการปรับสีอัตโนมัติโดยใช้โมเดลที่ผ่านการฝึกอบรมมาแล้ว และสร้างภาพหน้าจอดังต่อไปนี้

CVAE #1	CVAE #2	CVAE #3	จริง

การฝึกอบรม

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
poetry run python -m webcolor.main fit --model $MODEL_NAME --trainer.accelerator gpu --trainer.devices 1

ไฮเปอร์พารามิเตอร์ของโมเดลสามารถแสดงรายการได้ด้วย --model.help $MODEL_NAME

การประเมิน

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats,Upsampler}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt  # Evaluate the pre-trained model
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt  # Evaluate your own trained model
poetry run python -m webcolor.main test --model $MODEL_NAME --ckpt_path $CKPT_PATH --trainer.default_root_dir /tmp --trainer.accelerator gpu --trainer.devices 1

คำสั่งต่อไปนี้คำนวณการละเมิด Pixel-FCD และคอนทราสต์ และใช้เวลานานในการดำเนินการให้เสร็จสิ้น (ประมาณสี่ชั่วโมงโดยมีพนักงาน 24 คนในสภาพแวดล้อมของเรา)

MODEL_NAME=CVAE  # {CVAE,NAR,AR,Stats}
CKPT_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/ ${MODEL_NAME} .ckpt
# CKPT_PATH=lightning_logs/version_0/checkpoints/best.ckpt
UPSAMPLER_PATH=https://storage.googleapis.com/ailab-public/webcolor/checkpoints/Upsampler.ckpt
# UPSAMPLER_PATH=lightning_logs/version_1/checkpoints/best.ckpt
poetry run python eval.py --num_workers 4 --model $MODEL_NAME --ckpt_path $CKPT_PATH --upsampler_path $UPSAMPLER_PATH

สำหรับรายละเอียดเกี่ยวกับโมเดลที่ได้รับการฝึกล่วงหน้า โปรดดูเอกสารนี้

การอ้างอิง

 @inproceedings { Kikuchi2023 ,
    title = { Generative Colorization of Structured Mobile Web Pages } ,
    author = { Kotaro Kikuchi and Naoto Inoue and Mayu Otani and Edgar Simo-Serra and Kota Yamaguchi } ,
    booktitle = { IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) } ,
    year = { 2023 } ,
    pages = { 3639-3648 } ,
    doi = { 10.1109/WACV56688.2023.00364 }
}