SPI GAN

SPI-GAN：透過生成對抗網路實現單像素成像

如果您喜歡我們的項目，請在 GitHub 上給我們一個 star 以獲取最新更新。

紙

什麼是單像素相機？

？亮點

我們設計了一種新穎的基於深度學習的重建框架來解決單像素成像中高品質和快速影像復原的問題

快速、高品質的圖像和視訊重建

• 深度學習重建取代傳統的 L1 範數解 --> 快速重建
• 生成對抗網路（GAN）作為復原架構 --> 高品質
• 除了對抗性和 MSE 損失之外，我們還使用預訓練 ImageNet 編碼器的特徵空間的感知損失函數 --> 有助於實現 SOTA 性能

更新

歡迎觀看？此存儲庫提供最新更新。

✅ [2023.12.18] : 我們已經發佈了我們的程式碼！

✅ [2021.07.21] : 我們在 arXiv 上發布了論文 SPI-GAN。

方法論

建議框架

我們提出的 SPI-GAN 框架主要由一個生成器組成，該生成器採用噪聲 l2 範數解 (x^_noisy) 並產生與 x 相當的清晰重建 (x^)。另一方面，鑑別器學習區分 x 和 x^，以免被生成器愚弄。

建築學

安裝指南

• 安裝Anaconda並創建環境

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• 建立虛擬環境後，執行

   pip install -r requirements.txt

訓練守則

• 首先下載STL10和UCF101資料集。您可以非常輕鬆地找到這兩個資料集。

• 如果您想要建立將輸入到 GAN 的映像，請執行 Matlab 程式碼「L2Norm_Solution.m」來產生 l2-norm 解決方案。運行前創建必要的資料夾。以後我也會上傳這個的Python版本。

• 執行此命令以在不同設定下建立 .npy 文件

      python save_numpy.py

• 對於培訓-

      python Main_Reconstruction.py

影片重建的資料準備：UCF-101

• 在此下載影片和訓練/測試分組。

• 使用util_scripts/generate_video_jpgs.py將 avi 轉換為 jpg 文件

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• 使用util_scripts/ucf101_json.py產生類似於 ActivityNet 的 json 格式的註釋文件

  • annotation_dir_path包括 classInd.txt、trainlist0{1, 2, 3}.txt、testlist0{1, 2, 3}.txt

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

重建結果

定性比較

推廣到未見過的數據集

定量比較

透過 2000 張測試影像的平均 PSNR 顯示 SPI-GAN 的定量評估。

✏️引用

如果您發現我們的論文和程式碼對您的研究有用，請考慮給予星星和引用。

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}