GP GAN

GP-GAN: リアルな高解像度画像ブレンディングに向けて (ACMMM 2019、口頭発表)

[プロジェクト] [論文] [デモ] [関連作品: A2RL (画像自動トリミング用)] [Colab]
GP-GAN の公式 Chainer 実装: リアルな高解像度画像ブレンディングに向けて

概要

ソース	行き先	マスク	合成された	ブレンド

著者による GP-GAN の実装 (高解像度画像ブレンディング アルゴリズム) については、以下で説明されています。
「GP-GAN: リアルな高解像度画像ブレンディングを目指して」
Huikai Wu、Shuai Zheng、Junge Zhang、Kaiqi Huang

マスクが与えられると、私たちのアルゴリズムはソース イメージとデスティネーション イメージをブレンドして、高解像度でリアルなブレンド イメージを生成できます。私たちのアルゴリズムは、深い生成モデル Wasserstein GAN に基づいています。

連絡先: Hui-Kai Wu ([email protected])

引用

 @article{wu2017gp,
  title   = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author  = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
  journal = {ACMMM},
  year    = {2019}
}

はじめる

• コードは、 Ubuntu 16.04 LTS上のpython==3.5およびchainer==6.3.0でテストされています。

• GitHub からコードをダウンロードします。

  git clone https://github.com/wuhuikai/GP-GAN.git
  cd GP-GAN

• 要件をインストールします。

  pip install -r requirements/test/requirements.txt

• 事前トレーニング済みモデルblending_gan.npzまたはunsupervised_blending_gan.npzを Google ドライブからダウンロードし、フォルダーmodelsに置きます。

• blending_gan.npzのスクリプトを実行します。

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png

  または、 unsupervised_blending_gan.npzのスクリプトを実行します。

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False

• 引数の完全なリストを表示するには、 python run_gp_gan.py --helpと入力します。

GP-GAN を段階的にトレーニングします

GANのブレンディングを訓練する

• ここから一時属性データセットをダウンロードします。

• 各サブフォルダー内の画像をトリミングします。

  python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]

• GAN のブレンディングを訓練する:

  python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]

• トレーニングカーブ

  

• 視覚的な結果

  トレーニングセット	検証セット

教師なしブレンディング GAN のトレーニング

• 要件

  pip install git+git://github.com/mila-udem/fuel.git@stable

• 屋外の自然画像の hdf5 データセットをダウンロードします: ourdoor_64.hdf5 (1.4G)。これには、MIT Places データセットからの 150K の風景画像が含まれています。

• 教師なしブレンディング GAN をトレーニングする:

  python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]

• トレーニングカーブ

• トレーニング後のサンプル

  

視覚的な結果

マスク	コピーアンドペースト	修正ポアソン	マルチスプライン	監修済みGP-GAN	教師なし GP-GAN