TL; DR : Blur2Blur แปลงภาพจากภาพเบลอที่ไม่รู้จักเป็นภาพเบลอที่รู้จัก เวอร์ชันนี้ยังคงเนื้อหาต้นฉบับไว้ในขณะที่ใช้เคอร์เนลเบลออื่นที่ได้รับการฝึกฝนและบันทึกอย่างมีประสิทธิภาพโดยโมเดลลดความพร่ามัวในการควบคุม
บทคัดย่อ : บทความนี้นำเสนอกรอบการทำงานที่เป็นนวัตกรรมใหม่ที่ออกแบบมาเพื่อฝึกอัลกอริธึมการลดความเบลอของภาพที่ปรับแต่งให้เหมาะกับอุปกรณ์กล้องเฉพาะ อัลกอริธึมนี้ทำงานโดยการแปลงภาพอินพุตที่เบลอซึ่งยากต่อการเบลอ ให้เป็นภาพที่เบลออีกภาพหนึ่งซึ่งเหมาะกับการเบลอภาพมากกว่า กระบวนการเปลี่ยนแปลงจากสถานะเบลอหนึ่งไปอีกสถานะหนึ่ง ใช้ประโยชน์จากข้อมูลที่ไม่ได้จับคู่ซึ่งประกอบด้วยภาพที่คมชัดและไม่ชัดเจนซึ่งถ่ายโดยอุปกรณ์กล้องเป้าหมาย การเรียนรู้การแปลงภาพเบลอเป็นภาพเบลอนั้นง่ายกว่าการแปลงภาพเบลอเป็นภาพคมชัดโดยตรง เนื่องจากโดยหลักแล้วจะเกี่ยวข้องกับการปรับเปลี่ยนรูปแบบภาพเบลอมากกว่างานที่ซับซ้อนในการสร้างรายละเอียดของภาพที่สวยงามขึ้นมาใหม่ ประสิทธิภาพของแนวทางที่นำเสนอได้รับการแสดงให้เห็นผ่านการทดลองที่ครอบคลุมบนเกณฑ์มาตรฐานต่างๆ ซึ่งมีประสิทธิภาพเหนือกว่าวิธีการล้ำสมัยอย่างมีนัยสำคัญทั้งในด้านปริมาณและคุณภาพ
รายละเอียดของสถาปัตยกรรมแบบจำลองและผลการทดลองมีอยู่ในรายงานของเรา:
@inproceedings { pham2024blur2blur ,
author = { Pham, Bang-Dang and Tran, Phong and Tran, Anh and Pham, Cuong and Nguyen, Rang and Hoai, Minh } ,
booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
title = { Blur2Blur: Blur Conversion for Unsupervised Image Deblurring on Unknown Domains } ,
year = { 2024 }
}โปรดอ้างอิง รายงานของเราทุกครั้งที่ใช้พื้นที่เก็บข้อมูลนี้เพื่อช่วยสร้างผลลัพธ์ที่เผยแพร่หรือรวมเข้ากับซอฟต์แวร์อื่น
ติดตั้งการพึ่งพา:
git clone https://github.com/VinAIResearch/Blur2Blur
cd Blur2Blur
conda create -n blur2blur python=3.9
conda activate blur2blur
pip install -r requirements.txt คุณสามารถดาวน์โหลดชุดข้อมูล RB2V ที่เราเสนอโดยทำตามสคริปต์นี้:
chmod +x ./dataset/download_RB2V.sh
bash ./dataset/download_RB2V.sh
ดาวน์โหลดชุดข้อมูล REDS, GoPro และ RSBlur จากนั้นแตกไฟล์ไปที่โฟลเดอร์ ./dataset และจัดระเบียบตามรูปแบบนี้:
ชุดข้อมูล
├── ชื่อของชุดข้อมูลที่ไม่รู้จัก เช่น RB2V-GoPro
├── รถไฟก
├──── (รถไฟ) ชุดเบลอของ Unknown Blur
...
├── รถไฟบี
├──── (รถไฟ) ชุดคมชัดของ Unknown Blur
...
├── รถไฟC
├──── (รถไฟ) ชุดเบลอของ Known Blur
...
├── รถไฟD
├──── (รถไฟ) ชุดคมชัดของ Known Blur
...
├── ทดสอบก
├──── (ทดสอบ) ชุดเบลอของ Unknown Blur
...
ที่ไหน:
test-set ของชุดข้อมูล Unknown Blur วิธีฝึกโมเดล:
python train.py --dataroot path/to/dataset
--name exp_name
--model blur2blur --netG mimounet
--batch_size 1
--dataset_mode unaligned
--norm instance --pool_size 0
--display_id -1หรือ
bash ./scripts/train.shในการประเมินแบบจำลอง:
python test.py --dataroot datasets/GoPro/b2b_exp/RB2V_GOPRO_filter
--name exp_name
--eval
--model blur2blur --netG mimounet
--checkpoints_dir ckpts/
--dataset_mode unaligned
--norm instance หรือ
bash ./scripts/test.shหากต้องการผลลัพธ์เชิงโต้ตอบเพิ่มเติม คุณสามารถดูหน้าโครงการของฉัน: https://zero1778.github.io/blur2blur/
เราอยากจะแสดงความขอบคุณต่อการใช้งานต่อไปนี้สำหรับการมีส่วนร่วมในการพัฒนา Blur2Blur:
หากคุณมีคำถามหรือข้อเสนอแนะเกี่ยวกับ repo นี้ โปรดติดต่อฉัน ([email protected])
