SPI GAN

SPI-GAN: к однопиксельной визуализации через генеративно-состязательную сеть

Если вам нравится наш проект, поставьте нам звездочку на GitHub, чтобы получать последние обновления.

Бумага

Что такое однопиксельная камера?

? Основные моменты

Мы разрабатываем новую систему реконструкции на основе DL для решения проблемы высококачественного и быстрого восстановления изображений при однопиксельных изображениях.

Быстрая и качественная реконструкция изображений и видео

• Глубокое обучение для реконструкции вместо традиционного решения L1-нормы -> Быстрая реконструкция
• Генеративно-состязательная сеть (GAN) как архитектура восстановления --> Высокое качество
• В дополнение к состязательным потерям и потерям MSE мы используем функцию перцептивных потерь, используя пространство функций предварительно обученного кодировщика ImageNet --> Помогает достичь производительности SOTA.

Обновления

Добро пожаловать на просмотр ? этот репозиторий для получения последних обновлений.

✅ [2023.12.18] : Мы опубликовали наш код!

✅ [21.07.2021] : Мы опубликовали нашу статью SPI-GAN на arXiv.

Методология

Предлагаемая структура

Предлагаемая нами структура SPI-GAN в основном состоит из генератора, который принимает зашумленное решение l2-нормы (xˆ_noisy) и производит четкую реконструкцию (xˆ), сравнимую с x. С другой стороны, дискриминатор учится различать x и xˆ, пытаясь не быть обманутым генератором.

Архитектура

Руководство по установке

• Установите Anaconda и создайте среду

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• После создания виртуальной среды запустите

   pip install -r requirements.txt

Кодекс обучения

• Сначала загрузите наборы данных STL10 и UCF101. Вы можете очень легко найти оба этих набора данных.

• Если вы хотите создать изображения, которые будут передаваться в GAN, запустите код Matlab «L2Norm_Solution.m» для генерации решения l2-norm. Перед запуском создайте необходимые папки. Я также загружу версию Python в будущем.

• Выполните это, чтобы создать файл .npy с разными настройками.

      python save_numpy.py

• Для обучения-

      python Main_Reconstruction.py

Подготовка данных для реконструкции видео: UCF-101

• Загрузите видео и разделы тренировок/тестов здесь.

• Конвертируйте файлы avi в jpg с помощью util_scripts/generate_video_jpgs.py

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• Создайте файл аннотаций в формате json, аналогичный ActivityNet, используя util_scripts/ucf101_json.py

  • annotation_dir_path включает classInd.txt, trainlist0{1, 2, 3}.txt, testlist0{1, 2, 3}.txt

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

Результаты реконструкции

Качественное сравнение

Обобщение на невидимые наборы данных

Количественное сравнение

Количественная оценка SPI-GAN, показанная по среднему PSNR по 2000 тестовым изображениям.

✏️ Цитирование

Если вы найдете нашу статью и код полезными для вашего исследования, поставьте звездочку и укажите ссылку .

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}