SPI GAN

SPI-GAN : vers une imagerie à pixel unique grâce à un réseau contradictoire génératif

Si vous aimez notre projet, donnez-nous une étoile sur GitHub pour la dernière mise à jour.

Papier

Qu'est-ce qu'une caméra mono-pixel ?

? Points forts

Nous concevons un nouveau cadre de reconstruction basé sur DL pour résoudre le problème de la récupération rapide et de haute qualité d'images en imagerie à pixel unique

Reconstruction d'images et de vidéos rapide et de haute qualité

• Deep Learning pour la reconstruction au lieu de la solution traditionnelle de norme L1 --> Reconstruction rapide
• Generative Adversarial Network (GAN) comme architecture de récupération -> Haute qualité
• En plus de la perte contradictoire et MSE, nous utilisons une fonction de perte de perception utilisant l'espace de fonctionnalités d'un encodeur ImageNet pré-entraîné --> Aide à atteindre les performances SOTA

Mises à jour

Bienvenue à regarder ? ce référentiel pour les dernières mises à jour.

✅ [18.12.2023] : Nous avons publié notre code !

✅ [2021.07.21] : Nous avons publié notre article, SPI-GAN sur arXiv.

Méthodologie

Cadre proposé

Notre cadre SPI-GAN proposé consiste principalement en un générateur qui prend la solution bruyante de norme l2 (xˆ_noisy) et produit une reconstruction claire (xˆ) comparable à x. D’un autre côté, un discriminateur apprend à différencier x et xˆ pour tenter de ne pas se laisser berner par le générateur.

Architecture

Guide d'installation

• Installez Anaconda et créez un environnement

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• Après avoir créé un environnement virtuel, exécutez

   pip install -r requirements.txt

Code de formation

• Téléchargez d'abord les jeux de données STL10 et UCF101. Vous pouvez trouver ces deux ensembles de données très facilement.

• Si vous souhaitez créer les images qui seront transmises au GAN, exécutez le code Matlab "L2Norm_Solution.m" pour générer la solution l2-norm. Créez les dossiers nécessaires avant l'exécution. Je téléchargerai également la version python à l'avenir.

• Exécutez ceci pour créer le fichier .npy sous différents paramètres

      python save_numpy.py

• Pour la formation-

      python Main_Reconstruction.py

Préparation des données pour la reconstruction vidéo : UCF-101

• Téléchargez des vidéos et entraînez-vous/testez les fractionnements ici.

• Convertir des fichiers avi en jpg à l'aide de util_scripts/generate_video_jpgs.py

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• Générez un fichier d'annotation au format json similaire à ActivityNet à l'aide de util_scripts/ucf101_json.py

  • annotation_dir_path inclut classInd.txt, trainlist0{1, 2, 3}.txt, testlist0{1, 2, 3}.txt

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

Résultats de la reconstruction

Comparaison qualitative

Généralisation à des ensembles de données invisibles

Comparaison quantitative

Évaluation quantitative de SPI-GAN montrée par le PSNR moyen sur 2000 images de test.

✏️Citation

Si vous trouvez notre article et notre code utiles dans votre recherche, pensez à donner une étoile et une citation.

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}