GP GAN

GP-GAN: 사실적인 고해상도 이미지 블렌딩을 향하여(ACMMM 2019, 구두 )

[프로젝트] [Paper] [데모] [관련작업: A2RL(자동 이미지 자르기용)] [Colab]
GP-GAN의 공식 Chainer 구현: 사실적인 고해상도 이미지 블렌딩을 향하여

개요

원천	목적지	마스크	합성된	블렌딩 식

작성자가 구현한 고해상도 이미지 혼합 알고리즘인 GP-GAN은 다음에 설명되어 있습니다.
"GP-GAN: 사실적인 고해상도 이미지 블렌딩을 향하여"
Huikai Wu, Shuai Zheng, Junge Zhang, Kaiqi 황

마스크가 주어지면 우리의 알고리즘은 원본 이미지와 대상 이미지를 혼합하여 고해상도의 실제 혼합 이미지를 생성할 수 있습니다. 우리의 알고리즘은 심층 생성 모델인 Wasserstein GAN을 기반으로 합니다.

연락처: 우 후이카이([email protected])

소환

 @article{wu2017gp,
  title   = {GP-GAN: Towards Realistic High-Resolution Image Blending},
  author  = {Wu, Huikai and Zheng, Shuai and Zhang, Junge and Huang, Kaiqi},
  journal = {ACMMM},
  year    = {2019}
}

시작하기

• 코드는 Ubuntu 16.04 LTS 에서 python==3.5 및 chainer==6.3.0 으로 테스트되었습니다.

• GitHub에서 코드를 다운로드합니다.

  git clone https://github.com/wuhuikai/GP-GAN.git
  cd GP-GAN

• 요구 사항을 설치합니다.

  pip install -r requirements/test/requirements.txt

• Google Drive에서 사전 학습된 모델 blending_gan.npz 또는 unsupervised_blending_gan.npz 를 다운로드한 다음 models 폴더에 넣습니다.

• blending_gan.npz 에 대한 스크립트를 실행하십시오.

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png

  또는 unsupervised_blending_gan.npz 에 대한 스크립트를 실행하십시오.

  python run_gp_gan.py --src_image images/test_images/src.jpg --dst_image images/test_images/dst.jpg --mask_image images/test_images/mask.png --blended_image images/test_images/result.png --supervised False

• 전체 인수 목록을 보려면 python run_gp_gan.py --help 입력하세요.

GP-GAN을 단계별로 훈련하세요.

기차 블렌딩 GAN

• 여기서 임시 속성 데이터세트를 다운로드하세요.

• 각 하위 폴더의 이미지를 자릅니다.

  python crop_aligned_images.py --data_root [Path for imageAlignedLD in Transient Attributes Dataset]

• 기차 블렌딩 GAN:

  python train_blending_gan.py --data_root [Path for cropped aligned images of Transient Attributes Dataset]

• 훈련 곡선

  

• 시각적 결과

  트레이닝 세트	검증 세트

비지도 블렌딩 GAN 훈련

• 요구사항

  pip install git+git://github.com/mila-udem/fuel.git@stable

• 야외 자연 이미지의 hdf5 데이터세트인 ourdoor_64.hdf5(1.4G)를 다운로드하세요. 여기에는 MIT Places 데이터세트의 150K 풍경 이미지가 포함되어 있습니다.

• 비지도 블렌딩 GAN 훈련:

  python train_wasserstein_gan.py --data_root [Path for outdoor_64.hdf5]

• 훈련 곡선

• 훈련 후 샘플

  

시각적 결과

마스크	복사하여 붙여넣기	수정 포아송	다중 스플라인	감독되는 GP-GAN	비지도 GP-GAN