SPI GAN

SPI-GAN：通过生成对抗网络实现单像素成像

如果您喜欢我们的项目，请在 GitHub 上给我们一个 star 以获取最新更新。

纸

什么是单像素相机？

？亮点

我们设计了一种新颖的基于深度学习的重建框架来解决单像素成像中高质量和快速图像恢复的问题

快速、高质量的图像和视频重建

• 深度学习重建代替传统的 L1 范数解决方案 --> 快速重建
• 生成对抗网络（GAN）作为恢复架构 --> 高质量
• 除了对抗性和 MSE 损失之外，我们还使用预训练 ImageNet 编码器的特征空间的感知损失函数 --> 有助于实现 SOTA 性能

更新

欢迎观看？此存储库提供最新更新。

✅ [2023.12.18] : 我们已经发布了我们的代码！

✅ [2021.07.21] : 我们在 arXiv 上发布了论文 SPI-GAN。

方法论

拟议框架

我们提出的 SPI-GAN 框架主要由一个生成器组成，该生成器采用噪声 l2 范数解 (x^_noisy) 并生成与 x 相当的清晰重建 (x^)。另一方面，鉴别器学习区分 x 和 x^，以免被生成器愚弄。

建筑学

安装指南

• 安装Anaconda并创建环境

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• 创建虚拟环境后，运行

   pip install -r requirements.txt

培训守则

• 首先下载STL10和UCF101数据集。您可以非常轻松地找到这两个数据集。

• 如果您想创建将输入到 GAN 的图像，请运行 Matlab 代码“L2Norm_Solution.m”来生成 l2-norm 解决方案。运行前创建必要的文件夹。以后我也会上传这个的Python版本。

• 执行此命令以在不同设置下创建 .npy 文件

      python save_numpy.py

• 对于培训-

      python Main_Reconstruction.py

视频重建的数据准备：UCF-101

• 在此处下载视频和训练/测试分组。

• 使用util_scripts/generate_video_jpgs.py将 avi 转换为 jpg 文件

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• 使用util_scripts/ucf101_json.py生成类似于 ActivityNet 的 json 格式的注释文件

  • annotation_dir_path包括 classInd.txt、trainlist0{1, 2, 3}.txt、testlist0{1, 2, 3}.txt

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

重建结果

定性比较

推广到未见过的数据集

定量比较

通过 2000 张测试图像的平均 PSNR 显示 SPI-GAN 的定量评估。

✏️引用

如果您发现我们的论文和代码对您的研究有用，请考虑给予星星和引用。

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}