GP GAN

GP-GAN: Hacia una combinación realista de imágenes de alta resolución (ACMMM 2019, oral )

[Proyecto] [Papel] [Demostración] [Trabajo relacionado: A2RL (para recorte automático de imágenes)] [Colab]
Implementación oficial de Chainer de GP-GAN: hacia una combinación realista de imágenes de alta resolución

Descripción general

fuente	destino	mascarilla	compuesto	mezclado

La implementación del autor de GP-GAN, el algoritmo de combinación de imágenes de alta resolución descrito en:
"GP-GAN: hacia una combinación realista de imágenes de alta resolución"
Huikai Wu, Shuai Zheng, Junge Zhang, Kaiqi Huang

Dada una máscara, nuestro algoritmo puede combinar la imagen de origen y la imagen de destino, generando una imagen combinada realista y de alta resolución. Nuestro algoritmo se basa en modelos generativos profundos Wasserstein GAN.

Contacto: Hui-Kai Wu ([email protected])

Citación

 @article{wu2017gp,
  title   = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author  = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
  journal = {ACMMM},
  year    = {2019}
}

Empezando

• El código se prueba con python==3.5 y chainer==6.3.0 en Ubuntu 16.04 LTS .

• Descarga el código de GitHub:

  git clone https://github.com/wuhuikai/GP-GAN.git
  cd GP-GAN

• Instale los requisitos:

  pip install -r requirements/test/requirements.txt

• Descargue el modelo previamente entrenado blending_gan.npz o unsupervised_blending_gan.npz de Google Drive y luego colóquelos en la carpeta models .

• Ejecute el script para blending_gan.npz :

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png

  O ejecute el script para unsupervised_blending_gan.npz :

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False

• Escriba python run_gp_gan.py --help para obtener una lista completa de los argumentos.

Entrena GP-GAN paso a paso

Tren de mezcla GAN

• Descargue el conjunto de datos de atributos transitorios aquí.

• Recorta las imágenes en cada subcarpeta:

  python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]

• Tren de mezcla GAN:

  python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]

• Curva de entrenamiento

  

• Resultado visual

  Conjunto de entrenamiento	Conjunto de validación

Entrenamiento de mezcla GAN no supervisada

• Requisitos

  pip install git+git://github.com/mila-udem/fuel.git@stable

• Descargue el conjunto de datos hdf5 de imágenes naturales al aire libre: ourdoor_64.hdf5 (1.4G), que contiene imágenes de paisajes de 150K del conjunto de datos de MIT Places.

• Entrene Blending GAN sin supervisión:

  python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]

• Curva de entrenamiento

• Muestras después del entrenamiento.

  

Resultados visuales

Mascarilla	Copiar y pegar	Poisson modificado	multisplines	GP-GAN supervisado	GP-GAN no supervisado