SPI GAN

SPI-GAN: 생성적 적대 신경망(Generative Adversarial Network)을 통한 단일 픽셀 이미징을 향하여

우리 프로젝트가 마음에 드셨다면 최신 업데이트를 위해 GitHub에서 별표를 남겨주세요.

종이

단일 픽셀 카메라란 무엇입니까?

? 하이라이트

우리는 단일 픽셀 이미징에서 고품질 및 빠른 이미지 복구 문제를 해결하기 위해 새로운 DL 기반 재구성 프레임워크를 설계합니다.

빠르고 고품질의 이미지 및 비디오 재구성

• 기존 L1-norm 솔루션 대신 재구성을 위한 딥러닝 --> 빠른 재구성
• 복구 아키텍처로서의 GAN(Generative Adversarial Network) --> 고품질
• 적대적 및 MSE 손실 외에도 사전 훈련된 ImageNet 인코더의 특징 공간을 사용하여 인지적 손실 함수를 사용합니다 --> SOTA 성능 달성에 도움

업데이트

시청 에 오신 것을 환영합니다. 최신 업데이트를 보려면 이 저장소를 방문하세요.

✅ [2023.12.18] : 코드를 공개했습니다!

✅ [2021.07.21] : arXiv에 SPI-GAN 논문이 게재되었습니다.

방법론

제안된 프레임워크

우리가 제안한 SPI-GAN 프레임워크는 주로 잡음이 있는 l2-norm 솔루션(xˆ_noisy)을 취하고 x와 비교할 수 있는 명확한 재구성(xˆ)을 생성하는 생성기로 구성됩니다. 반면에 판별자는 생성자에게 속지 않기 위해 x와 xˆ를 구별하는 방법을 학습합니다.

건축학

설치 가이드

• Anaconda 설치 및 환경 생성

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• 가상환경 생성 후 실행

   pip install -r requirements.txt

훈련용 코드

• 먼저 STL10 및 UCF101 데이터세트를 다운로드하세요. 이 두 데이터세트를 모두 매우 쉽게 찾을 수 있습니다.

• GAN에 공급할 이미지를 생성하려면 Matlab 코드 "L2Norm_Solution.m"을 실행하여 l2-norm 솔루션을 생성하세요. 실행하기 전에 필요한 폴더를 만드십시오. 앞으로는 Python 버전도 업로드하겠습니다.

• 이것을 실행하여 다른 설정으로 .npy 파일을 만듭니다.

      python save_numpy.py

• 훈련용-

      python Main_Reconstruction.py

비디오 재구성을 위한 데이터 준비: UCF-101

• 여기에서 비디오를 다운로드하고 훈련/테스트 분할을 수행하세요.

• util_scripts/generate_video_jpgs.py 사용하여 avi에서 jpg 파일로 변환

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• util_scripts/ucf101_json.py 사용하여 ActivityNet과 유사한 json 형식으로 주석 파일을 생성합니다.

  • annotation_dir_path 에는 classInd.txt, trainlist0{1, 2, 3}.txt, testlist0{1, 2, 3}.txt가 포함됩니다.

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

재구성 결과

정성적 비교

보이지 않는 데이터 세트에 대한 일반화

정량적 비교

2000개의 테스트 이미지에 대한 평균 PSNR로 표시되는 SPI-GAN의 정량적 평가.

✏️ 인용

귀하의 연구에 우리의 논문과 코드가 유용하다고 생각하시면 별표와 인용을 고려해 보십시오.

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}