GP GAN

GP-GAN：迈向逼真的高分辨率图像混合（ACMMM 2019，口头）

[项目] [论文] [演示] [相关工作：A2RL（用于自动图像裁剪）] [Colab]
GP-GAN 的官方 Chainer 实现：迈向逼真的高分辨率图像混合

概述

来源	目的地	面具	复合的	混合

作者对 GP-GAN 的实现，高分辨率图像混合算法描述如下：
“GP-GAN：迈向逼真的高分辨率图像混合”
吴惠凯、郑帅、张俊革、黄凯琪

给定一个掩模，我们的算法可以混合源图像和目标图像，生成高分辨率且逼真的混合图像。我们的算法基于深度生成模型 Wasserstein GAN。

联系人：吴慧凯 ([email protected])

引文

 @article{wu2017gp,
  title   = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author  = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
  journal = {ACMMM},
  year    = {2019}
}

入门

• 该代码在Ubuntu 16.04 LTS上使用python==3.5和chainer==6.3.0进行了测试。

• 从 GitHub 下载代码：

  git clone https://github.com/wuhuikai/GP-GAN.git
  cd GP-GAN

• 安装要求：

  pip install -r requirements/test/requirements.txt

• 从 Google Drive 下载预训练模型blending_gan.npz或unsupervised_blending_gan.npz ，然后将它们放入文件夹models中。

• 运行blending_gan.npz的脚本：

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png

  或者运行unsupervised_blending_gan.npz的脚本：

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False

• 键入python run_gp_gan.py --help以获取完整的参数列表。

逐步训练 GP-GAN

训练混合 GAN

• 在此处下载瞬态属性数据集。

• 裁剪每个子文件夹中的图像：

  python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]

• 训练混合 GAN：

  python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]

• 训练曲线

  

• 视觉效果

  训练集	验证集

训练无监督混合 GAN

• 要求

  pip install git+git://github.com/mila-udem/fuel.git@stable

• 下载室外自然图像的hdf5数据集：ourdoor_64.hdf5（1.4G），其中包含来自MIT Places数据集的150K风景图像。

• 训练无监督混合 GAN：

  python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]

• 训练曲线

• 训练后的样本

  

视觉效果

面具	复制粘贴	修正泊松	多样条线	有监督的 GP-GAN	无监督 GP-GAN