GP GAN

GP-GAN: Rumo à combinação realista de imagens de alta resolução (ACMMM 2019, oral )

[Projeto] [Papel] [Demonstração] [Trabalho relacionado: A2RL (para corte automático de imagem)] [Colab]
Implementação oficial do GP-GAN pelo Chainer: Rumo à combinação realista de imagens de alta resolução

Visão geral

fonte	destino	máscara	composto	misturado

A implementação do autor do GP-GAN, o algoritmo de combinação de imagens de alta resolução descrito em:
"GP-GAN: Rumo à combinação realista de imagens de alta resolução"
Huikai Wu, Shuai Zheng, Junge Zhang, Kaiqi Huang

Dada uma máscara, nosso algoritmo pode mesclar a imagem de origem e a imagem de destino, gerando uma imagem mesclada realista e de alta resolução. Nosso algoritmo é baseado em modelos generativos profundos Wasserstein GAN.

Contato: Hui-Kai Wu ([email protected])

Citação

 @article{wu2017gp,
  title   = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author  = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
  journal = {ACMMM},
  year    = {2019}
}

Começando

• O código é testado com python==3.5 e chainer==6.3.0 no Ubuntu 16.04 LTS .

• Baixe o código do GitHub:

  git clone https://github.com/wuhuikai/GP-GAN.git
  cd GP-GAN

• Instale os requisitos:

  pip install -r requirements/test/requirements.txt

• Baixe o modelo pré-treinado blending_gan.npz ou unsupervised_blending_gan.npz do Google Drive e coloque-os na pasta models .

• Execute o script para blending_gan.npz :

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png

  Ou execute o script para unsupervised_blending_gan.npz :

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False

• Digite python run_gp_gan.py --help para obter uma lista completa dos argumentos.

Treine GP-GAN passo a passo

Mistura de trem GAN

• Baixe o conjunto de dados de atributos transitórios aqui.

• Corte as imagens em cada subpasta:

  python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]

• Mistura de trem GAN:

  python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]

• Curva de treinamento

  

• Resultado visual

  Conjunto de treinamento	Conjunto de validação

Treinamento de mistura não supervisionada GAN

• Requisitos

  pip install git+git://github.com/mila-udem/fuel.git@stable

• Baixe o conjunto de dados hdf5 de imagens naturais ao ar livre: ourdoor_64.hdf5 (1.4G), que contém 150 mil imagens de paisagens do conjunto de dados MIT Places.

• Treine o Blending GAN não supervisionado:

  python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]

• Curva de Treinamento

• Amostras após o treinamento

  

Resultados visuais

Máscara	Copiar e Colar	Veneno Modificado	Multi-splines	GP-GAN supervisionado	GP-GAN não supervisionado