หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

SPI-GAN: สู่การถ่ายภาพพิกเซลเดียวผ่านเครือข่าย Generative Adversarial

หากคุณชอบโครงการของเรา โปรดติดดาวบน GitHub เพื่อรับการอัปเดตล่าสุด

กระดาษ

กล้องพิกเซลเดียวคืออะไร?

- ไฮไลท์

เราออกแบบกรอบการสร้างใหม่ที่ใช้ DL ใหม่เพื่อจัดการกับปัญหาการกู้คืนภาพคุณภาพสูงและรวดเร็วในการถ่ายภาพแบบพิกเซลเดียว

การสร้างภาพและวิดีโอคุณภาพสูงที่รวดเร็ว

  • การเรียนรู้เชิงลึกเพื่อการสร้างใหม่แทนโซลูชัน L1-norm แบบดั้งเดิม -> การสร้างใหม่อย่างรวดเร็ว
  • Generative Adversarial Network (GAN) เป็นสถาปัตยกรรมการกู้คืน -> คุณภาพสูง
  • นอกเหนือจากการสูญเสียฝ่ายตรงข้ามและ MSE แล้ว เรายังใช้ฟังก์ชันการสูญเสียการรับรู้โดยใช้พื้นที่คุณลักษณะของ ImageNet Encoder ที่ได้รับการฝึกอบรมล่วงหน้า --> ช่วยให้บรรลุประสิทธิภาพ SOTA

อัพเดท

ยินดีต้อนรับสู่ การชม ? พื้นที่เก็บข้อมูลนี้สำหรับการอัพเดตล่าสุด

✅ [2023.12.18] : เราได้เปิดตัวรหัสของเราแล้ว!

✅ [2021.07.21] : เราได้เปิดตัวรายงาน SPI-GAN บน arXiv แล้ว

ระเบียบวิธี

กรอบที่เสนอ

สรุป_รูป กรอบงาน SPI-GAN ที่เรานำเสนอส่วนใหญ่ประกอบด้วยเครื่องกำเนิดไฟฟ้าที่ใช้โซลูชัน l2-norm ที่มีเสียงดัง (xˆ_noisy) และสร้างการสร้างใหม่ที่ชัดเจน (xˆ) ที่เทียบได้กับ x ในทางกลับกัน ผู้แยกแยะเรียนรู้ที่จะแยกความแตกต่างระหว่าง x และ xˆ ด้วยความพยายามที่จะไม่โดนเครื่องกำเนิดหลอก

สถาปัตยกรรม

คู่มือการติดตั้ง

  • ติดตั้ง Anaconda และสร้างสภาพแวดล้อม 

     conda create -n spi_gan python=3.10
 conda activate spi_gan

  • หลังจากสร้างสภาพแวดล้อมเสมือนแล้ว ให้รัน 

     pip install -r requirements.txt

รหัสสำหรับการฝึกอบรม

  • ดาวน์โหลดชุดข้อมูล STL10 และ UCF101 ก่อน คุณสามารถค้นหาชุดข้อมูลทั้งสองนี้ได้อย่างง่ายดายมาก

  • หากคุณต้องการสร้างอิมเมจที่จะป้อนให้กับ GAN ให้เรียกใช้โค้ด Matlab "L2Norm_Solution.m" เพื่อสร้างโซลูชัน l2-norm สร้างโฟลเดอร์ที่จำเป็นก่อนเรียกใช้ ฉันจะอัปโหลดเวอร์ชัน python ของสิ่งนี้ในอนาคตด้วย

  • ดำเนินการนี้เพื่อสร้างไฟล์ .npy ภายใต้การตั้งค่าที่แตกต่างกัน 

        python save_numpy.py

  • สำหรับการฝึกอบรม- 

        python Main_Reconstruction.py

การเตรียมข้อมูลสำหรับการสร้างวิดีโอใหม่: UCF-101

  • ดาวน์โหลดวิดีโอและฝึก/แยกการทดสอบได้ที่นี่

  • แปลงจากไฟล์ avi เป็น jpg โดยใช้ util_scripts/generate_video_jpgs.py 

     python -m util_scripts.generate_video_jpgs avi_video_dir_path jpg_video_dir_path ucf101

  • สร้างไฟล์คำอธิบายประกอบในรูปแบบ json คล้ายกับ ActivityNet โดยใช้ util_scripts/ucf101_json.py

    • annotation_dir_path รวมถึง classInd.txt, trainlist0{1, 2, 3}.txt, testlist0{1, 2, 3}.txt 

      python -m util_scripts.ucf101_json annotation_dir_path jpg_video_dir_path dst_json_path

ผลการฟื้นฟู

การเปรียบเทียบเชิงคุณภาพ

ลักษณะทั่วไปของชุดข้อมูลที่มองไม่เห็น

การเปรียบเทียบเชิงปริมาณ

การประเมินเชิงปริมาณของ SPI-GAN แสดงโดย PSNR เฉลี่ยจากภาพทดสอบ 2,000 ภาพ

✏️การอ้างอิง

หากคุณพบว่ารายงานและรหัสของเรามีประโยชน์ในการวิจัยของคุณ โปรดพิจารณาให้ดาวและการอ้างอิง 

 @misc { karim2021spigan ,
      title = { SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network } , 
      author = { Nazmul Karim and Nazanin Rahnavard } ,
      year = { 2021 } ,
      eprint = { 2107.01330 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV }
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด