GP GAN

GP-GAN : Vers un mélange réaliste d'images haute résolution (ACMMM 2019, oral )

[Projet] [Papier] [Démo] [Travail connexe : A2RL (pour le recadrage automatique des images)] [Colab]
Implémentation officielle du Chainer de GP-GAN : vers un mélange réaliste d'images haute résolution

Aperçu

source	destination	masque	composé	mélangé

Implémentation par l'auteur de GP-GAN, l'algorithme de fusion d'images haute résolution décrit dans :
"GP-GAN : vers un mélange réaliste d'images haute résolution"
Huikai Wu, Shuai Zheng, Junge Zhang, Kaiqi Huang

Étant donné un masque, notre algorithme peut mélanger l'image source et l'image de destination, générant ainsi une image mélangée haute résolution et réaliste. Notre algorithme est basé sur les modèles génératifs profonds Wasserstein GAN.

Contact : Hui-Kai Wu ([email protected])

Citation

 @article{wu2017gp,
  title   = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author  = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
  journal = {ACMMM},
  year    = {2019}
}

Commencer

• Le code est testé avec python==3.5 et chainer==6.3.0 sur Ubuntu 16.04 LTS .

• Téléchargez le code depuis GitHub :

  git clone https://github.com/wuhuikai/GP-GAN.git
  cd GP-GAN

• Installez les exigences :

  pip install -r requirements/test/requirements.txt

• Téléchargez le modèle pré-entraîné blending_gan.npz ou unsupervised_blending_gan.npz depuis Google Drive, puis placez-les dans le dossier models .

• Exécutez le script pour blending_gan.npz :

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png

  Ou exécutez le script pour unsupervised_blending_gan.npz :

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False

• Tapez python run_gp_gan.py --help pour une liste complète des arguments.

Entraîner GP-GAN étape par étape

Mélange de trains GAN

• Téléchargez l'ensemble de données sur les attributs transitoires ici.

• Recadrez les images dans chaque sous-dossier :

  python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]

• Train Mélange GAN :

  python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]

• Courbe d'entraînement

  

• Résultat visuel

  Ensemble de formation	Ensemble de validation

Formation au mélange non supervisé GAN

• Exigences

  pip install git+git://github.com/mila-udem/fuel.git@stable

• Téléchargez l'ensemble de données hdf5 d'images naturelles extérieures : ourdoor_64.hdf5 (1,4G), qui contient 150 000 images de paysages de l'ensemble de données MIT Places.

• Entraîner le Blending GAN non supervisé :

  python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]

• Courbe d'entraînement

• Échantillons après formation

  

Résultats visuels

Masque	Copier-Coller	Poisson modifié	Multi-splines	GP-GAN supervisé	GP-GAN non supervisé