[Проект] [Документ] [Демо] [Сопутствующая работа: A2RL (для автоматической обрезки изображения)] [Colab]
Официальная реализация Chainer GP-GAN: на пути к реалистичному смешиванию изображений высокого разрешения
источник | место назначения | маска | составной | смешанный |
---|---|---|---|---|
Авторская реализация GP-GAN, алгоритма смешивания изображений высокого разрешения, описанного в:
«GP-GAN: к реалистичному смешиванию изображений высокого разрешения»
Хуйкай Ву, Шуай Чжэн, Юнге Чжан, Кайци Хуан
Учитывая маску, наш алгоритм может смешивать исходное изображение и конечное изображение, создавая реалистичное смешанное изображение с высоким разрешением. Наш алгоритм основан на глубоких генеративных моделях Wasserstein GAN.
Контактное лицо: Хуэй-Кай Ву ([email protected])
@article{wu2017gp,
title = {GP-GAN: Towards Realistic High-Resolution Image Blending},
author = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
journal = {ACMMM},
year = {2019}
}
Код протестирован с помощью python==3.5
и chainer==6.3.0
в Ubuntu 16.04 LTS
.
Загрузите код с GitHub:
git clone https://github.com/wuhuikai/GP-GAN.git
cd GP-GAN
Установите требования:
pip install -r requirements/test/requirements.txt
Загрузите предварительно обученную модель blending_gan.npz
или unsupervised_blending_gan.npz
с Google Drive, а затем поместите их в папку models
.
Запустите скрипт blending_gan.npz
:
python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png
Или запустите скрипт unsupervised_blending_gan.npz
:
python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False
Введите python run_gp_gan.py --help
для получения полного списка аргументов.
Загрузите набор данных переходных атрибутов здесь.
Обрезайте изображения в каждой подпапке:
python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]
Поезд смешивания GAN:
python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]
Кривая обучения
Визуальный результат
Тренировочный набор | Набор проверки |
---|---|
Требования
pip install git+git://github.com/mila-udem/fuel.git@stable
Загрузите набор данных hdf5 с изображениями природы на открытом воздухе: Ourdoor_64.hdf5 (1.4G), который содержит 150 тысяч изображений пейзажей из набора данных MIT Places.
Обучите неконтролируемое смешивание GAN:
python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]
Кривая обучения
Образцы после тренировки
Маска | Копирование и вставка | Модифицированный Пуассон | Мультисплайны | Контролируемый ГП-ГАН | Неконтролируемый GP-GAN |
---|---|---|---|---|---|