SPI GAN

SPI-GAN: 敵対的生成ネットワークを通じてシングルピクセルイメージングに向けて

私たちのプロジェクトが気に入っていただけましたら、GitHub でスターを付けて最新のアップデートを入手してください。

紙

単画素カメラとは何ですか?

?ハイライト

私たちは、単一ピクセルイメージングにおける高品質かつ高速な画像回復の問題に取り組むための、新しい DL ベースの再構成フレームワークを設計します。

高速かつ高品質の画像とビデオの再構築

• 従来の L1 ノルム ソリューションの代わりに再構築のための深層学習 --> 高速再構築
• 回復アーキテクチャとしての敵対的生成ネットワーク (GAN) --> 高品質
• 敵対的損失と MSE 損失に加えて、事前トレーニングされた ImageNet エンコーダーの特徴空間を使用した知覚損失関数を使用します --> SOTA パフォーマンスの達成に役立ちます

アップデート

ようこそご覧ください?最新のアップデートについてはこのリポジトリを参照してください。

✅ [2023.12.18] : コードを公開しました！

✅ [2021.07.21] : 論文SPI-GANをarXivで公開しました。

方法論

提案されたフレームワーク

私たちが提案する SPI-GAN フレームワークは主に、ノイズを含む l2 ノルム解 (x^_noisy) を取得し、x に匹敵する明確な再構成 (x^) を生成するジェネレーターで構成されます。一方、弁別器は、生成器にだまされないように、x と x^ を区別することを学習します。

建築

インストールガイド

• Anacondaをインストールして環境を構築する

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• 仮想環境を作成したら、実行します

   pip install -r requirements.txt

トレーニング用のコード

• まず、STL10 および UCF101 データセットをダウンロードします。これらのデータセットは両方とも非常に簡単に見つけることができます。

• GAN に供給される画像を作成したい場合は、l2 ノルム解を生成するための Matlab コード「L2Norm_Solution.m」を実行します。実行前に必要なフォルダーを作成します。将来的にはこれのPythonバージョンもアップロードする予定です。

• これを実行して、別の設定で .npy ファイルを作成します

      python save_numpy.py

• トレーニング用に-

      python Main_Reconstruction.py

ビデオ再構築のためのデータ準備: UCF-101

• ここからビデオをダウンロードし、分割をトレーニング/テストします。

• util_scripts/generate_video_jpgs.pyを使用して avi から jpg ファイルに変換します。

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• util_scripts/ucf101_json.pyを使用してActivityNetと同様のjson形式のアノテーションファイルを生成します

  • annotation_dir_pathには classInd.txt、trainlist0{1, 2, 3}.txt、testlist0{1, 2, 3}.txt が含まれます

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

復興の成果

定性的比較

目に見えないデータセットへの一般化

定量的な比較

SPI-GAN の定量的評価は、2000 枚のテスト画像の平均 PSNR によって示されます。

✏️引用

私たちの論文とコードが研究に役立つと思われる場合は、スターと引用を与えることを検討してください。

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}