SPI GAN

SPI-GAN: نحو تصوير أحادي البكسل من خلال شبكة الخصومة التوليدية

إذا أعجبك مشروعنا، يرجى إعطائنا نجمة على GitHub للحصول على آخر التحديثات.

ورق

ما هي الكاميرا أحادية البكسل؟

؟ أبرز

نقوم بتصميم إطار عمل جديد لإعادة الإعمار قائم على DL لمعالجة مشكلة استعادة الصور عالية الجودة والسريعة في التصوير أحادي البكسل

إعادة بناء الصور والفيديو بسرعة وعالية الجودة

• التعلم العميق لإعادة الإعمار بدلاً من الحل التقليدي للغة الأولى --> إعادة الإعمار السريع
• شبكة الخصومة التوليدية (GAN) كبنية الاسترداد --> جودة عالية
• بالإضافة إلى خسارة الخصومة وخسارة MSE، نستخدم وظيفة فقدان الإدراك الحسي باستخدام مساحة الميزات الخاصة ببرنامج ImageNet Encoder المُدرب مسبقًا --> يساعد على تحقيق أداء SOTA

التحديثات

مرحبا بكم في المشاهدة ؟ هذا المستودع لآخر التحديثات.

✅ [2023.12.18] : لقد أصدرنا الكود الخاص بنا!

✅ [2021.07.21] : لقد أصدرنا ورقتنا SPI-GAN على arXiv.

المنهجية

الإطار المقترح

يتكون إطار SPI-GAN المقترح بشكل أساسي من مولد يأخذ الحل المعياري l2 الصاخب (xˆ_noisy) وينتج إعادة بناء واضحة (xˆ) قابلة للمقارنة بـ x. من ناحية أخرى, يتعلم المُميِّز التفريق بين x وx في محاولة لئلا ينخدع بالمولد.

بنيان

دليل التثبيت

• قم بتثبيت Anaconda وإنشاء بيئة

   conda create -n spi_gan python=3.10
   conda activate spi_gan

• بعد إنشاء بيئة افتراضية، قم بتشغيل

   pip install -r requirements.txt

كود للتدريب

• قم أولاً بتنزيل مجموعات البيانات STL10 وUCF101. يمكنك العثور على هاتين المجموعتين من البيانات بسهولة بالغة.

• إذا كنت ترغب في إنشاء الصور التي سيتم تغذيتها إلى GAN، فقم بتشغيل كود Matlab "L2Norm_Solution.m" لإنشاء حل l2-norm. قم بإنشاء المجلدات الضرورية قبل التشغيل. سأقوم أيضًا بتحميل نسخة بايثون من هذا في المستقبل.

• قم بتنفيذ هذا لإنشاء ملف .npy ضمن إعدادات مختلفة

      python save_numpy.py

• للتدريب-

      python Main_Reconstruction.py

إعداد البيانات لإعادة بناء الفيديو: UCF-101

• قم بتنزيل مقاطع الفيديو وتقسيمات التدريب/الاختبار هنا.

• قم بالتحويل من ملفات avi إلى jpg باستخدام util_scripts/generate_video_jpgs.py

   python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

• قم بإنشاء ملف تعليق توضيحي بتنسيق json مشابه لـ ActivityNet باستخدام util_scripts/ucf101_json.py

  • يتضمن annotation_dir_path classInd.txt، Trainlist0{1، 2، 3}.txt، testlist0{1، 2، 3}.txt

    python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

نتائج إعادة الإعمار

المقارنة النوعية

التعميم على مجموعات البيانات غير المرئية

المقارنة الكمية

يظهر التقييم الكمي لـ SPI-GAN بمتوسط ​​PSNR أكثر من 2000 صورة اختبار.

✏️ الاقتباس

إذا وجدت ورقتنا ورمزنا مفيدًا في بحثك، فيرجى التفكير في إعطاء نجمة واستشهاد.

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}