SPI GAN

SPI-GAN: Auf dem Weg zur Einzelpixel-Bildgebung durch ein generatives kontradiktorisches Netzwerk

Wenn Ihnen unser Projekt gefällt, geben Sie uns bitte einen Stern auf GitHub für das neueste Update.

Papier

Was ist eine Single-Pixel-Kamera?

? Höhepunkte

Wir entwerfen ein neuartiges DL-basiertes Rekonstruktions-Framework, um das Problem einer qualitativ hochwertigen und schnellen Bildwiederherstellung bei der Einzelpixel-Bildgebung zu lösen

Schnelle, hochwertige Bild- und Videorekonstruktion

• Deep Learning für die Rekonstruktion anstelle der herkömmlichen L1-Norm-Lösung –> Schnelle Rekonstruktion
• Generative Adversarial Network (GAN) als Wiederherstellungsarchitektur -> Hohe Qualität
• Zusätzlich zum Adversarial- und MSE-Verlust verwenden wir eine Wahrnehmungsverlustfunktion, die den Funktionsraum eines vorab trainierten ImageNet-Encoders nutzt -> Hilft dabei, SOTA-Leistung zu erzielen

Aktualisierungen

Willkommen zum Zuschauen ? Dieses Repository für die neuesten Updates.

✅ [18.12.2023] : Wir haben unseren Code veröffentlicht!

✅ [21.07.2021] : Wir haben unser Paper SPI-GAN auf arXiv veröffentlicht.

Methodik

Vorgeschlagener Rahmen

Unser vorgeschlagenes SPI-GAN-Framework besteht hauptsächlich aus einem Generator, der die verrauschte l2-Normlösung (xˆ_noisy) verwendet und eine klare Rekonstruktion (xˆ) erzeugt, die mit x vergleichbar ist. Andererseits lernt ein Diskriminator, zwischen x und xˆ zu unterscheiden, um sich nicht vom Generator täuschen zu lassen.

Architektur

Installationsanleitung

• Installieren Sie Anaconda und erstellen Sie eine Umgebung

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• Nachdem Sie eine virtuelle Umgebung erstellt haben, führen Sie sie aus

   pip install -r requirements.txt

Kodex für Schulungen

• Laden Sie zunächst die Datensätze STL10 und UCF101 herunter. Sie können beide Datensätze sehr leicht finden.

• Wenn Sie die Bilder erstellen möchten, die dem GAN zugeführt werden, führen Sie den Matlab-Code „L2Norm_Solution.m“ aus, um die L2-Norm-Lösung zu generieren. Erstellen Sie vor dem Ausführen die erforderlichen Ordner. Ich werde in Zukunft auch die Python-Version davon hochladen.

• Führen Sie dies aus, um die .npy-Datei mit anderen Einstellungen zu erstellen

      python save_numpy.py

• Für das Training-

      python Main_Reconstruction.py

Datenvorbereitung für die Videorekonstruktion: UCF-101

• Laden Sie hier Videos und Trainings-/Testaufteilungen herunter.

• Konvertieren Sie AVI- in JPG-Dateien mit util_scripts/generate_video_jpgs.py

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• Generieren Sie mit util_scripts/ucf101_json.py eine Anmerkungsdatei im JSON-Format ähnlich wie bei ActivityNet

  • annotation_dir_path enthält classInd.txt, trainlist0{1, 2, 3}.txt, testlist0{1, 2, 3}.txt

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

Rekonstruktionsergebnisse

Qualitativer Vergleich

Verallgemeinerung auf unsichtbare Datensätze

Quantitativer Vergleich

Quantitative Bewertung von SPI-GAN anhand des durchschnittlichen PSNR über 2000 Testbilder.

✏️ Zitat

Wenn Sie unser Papier und unseren Code für Ihre Recherche nützlich finden, denken Sie bitte darüber nach, einen Stern zu vergeben und zu zitieren.

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}