GP GAN

GP-GAN：邁向逼真的高解析度影像混合（ACMMM 2019，口頭）

[專案] [論文] [示範] [相關工作：A2RL（用於自動影像裁切）] [Colab]
GP-GAN 的官方 Chainer 實現：邁向逼真的高解析度影像混合

概述

來源	目的地	面具	複合的	混合

作者對 GP-GAN 的實現，高解析度影像混合演算法描述如下：
“GP-GAN：邁向逼真的高解析度圖像混音”
吳惠凱、鄭帥、張俊革、黃凱琪

給定一個掩模，我們的演算法可以混合來源影像和目標影像，產生高解析度且逼真的混合影像。我們的演算法基於深度生成模型 Wasserstein GAN。

聯絡人：吳慧凱 ([email protected])

引文

 @article{wu2017gp,
  title   = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author  = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
  journal = {ACMMM},
  year    = {2019}
}

入門

• 程式碼在Ubuntu 16.04 LTS上使用python==3.5和chainer==6.3.0進行了測試。

• 從 GitHub 下載程式碼：

  git clone https://github.com/wuhuikai/GP-GAN.git
  cd GP-GAN

• 安裝要求：

  pip install -r requirements/test/requirements.txt

• 從 Google Drive 下載預訓練模型blending_gan.npz或unsupervised_blending_gan.npz ，然後將它們放入資料夾models中。

• 執行blending_gan.npz的腳本：

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png

  或執行unsupervised_blending_gan.npz的腳本：

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False

• 鍵入python run_gp_gan.py --help以取得完整的參數清單。

逐步訓練 GP-GAN

訓練混合 GAN

• 在此下載瞬態屬性資料集。

• 裁剪每個子資料夾中的圖像：

  python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]

• 訓練混合 GAN：

  python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]

• 訓練曲線

  

• 視覺效果

  訓練集	驗證集

訓練無監督混合 GAN

• 要求

  pip install git+git://github.com/mila-udem/fuel.git@stable

• 下載室外自然圖像的hdf5資料集：ourdoor_64.hdf5（1.4G），其中包含來自MIT Places資料集的150K風景圖像。

• 訓練無監督混合 GAN：

  python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]

• 訓練曲線

• 訓練後的樣本

  

視覺效果

面具	複製及貼上	修正泊松	多樣化條線	有監督的 GP-GAN	無監督 GP-GAN