Blur2Blur

التنفيذ الرسمي لـ Pytorch لـ "Blur2Blur: تحويل الضبابية لإزالة ضبابية الصور غير الخاضعة للرقابة على نطاقات غير معروفة" (CVPR'24)

بانج دانغ فام · فونج تران · آنه تران · كوونج فام · رانغ نغوين · مينه هواي

أبحاث فيناي، فيتنام

TL;DR : يقوم Blur2Blur بتحويل الصور من تمويه غير معروف إلى تمويه معروف. يحتفظ هذا الإصدار بالمحتوى الأصلي أثناء تطبيق نواة تمويه مختلفة تم تدريبها بشكل فعال والتقاطها بواسطة نماذج إزالة الضبابية الإشرافية.

الملخص : تقدم هذه الورقة إطارًا مبتكرًا مصممًا لتدريب خوارزمية إزالة تشويش الصورة المصممة خصيصًا لجهاز كاميرا محدد. تعمل هذه الخوارزمية عن طريق تحويل صورة مدخلة ضبابية، والتي يصعب إزالة الضبابية، إلى صورة ضبابية أخرى أكثر قابلية لإزالة الضبابية. تعمل عملية التحويل، من حالة ضبابية إلى أخرى، على الاستفادة من البيانات غير المقترنة التي تتكون من صور حادة وضبابية تم التقاطها بواسطة جهاز الكاميرا المستهدف. يعد تعلم هذا التحويل من التمويه إلى التمويه أبسط بطبيعته من التحويل المباشر من التمويه إلى الوضوح، لأنه يتضمن في المقام الأول تعديل أنماط التمويه بدلاً من المهمة المعقدة المتمثلة في إعادة بناء تفاصيل الصورة الدقيقة. وقد تم إثبات فعالية النهج المقترح من خلال تجارب شاملة على معايير مختلفة، حيث يتفوق بشكل كبير على أحدث الأساليب من الناحيتين الكمية والنوعية.

يمكن الاطلاع على تفاصيل بنية النموذج والنتائج التجريبية في ورقتنا:

 @inproceedings { pham2024blur2blur ,
 author = { Pham, Bang-Dang and Tran, Phong and Tran, Anh and Pham, Cuong and Nguyen, Rang and Hoai, Minh } ,
 booktitle = { Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) } ,
 title = { Blur2Blur: Blur Conversion for Unsupervised Image Deblurring on Unknown Domains } ,
 year = { 2024 }
}

يرجى الاستشهاد بأبحاثنا عندما يتم استخدام هذا المستودع للمساعدة في إنتاج نتائج منشورة أو دمجها في برامج أخرى.

جدول المحتويات

1. ابدء
2. مجموعات البيانات
3. Blur2Blur
4. نتائج
5. شكر وتقدير
6. اتصالات

ابدء

المتطلبات الأساسية

• بايثون >= 3.7
• بيتورتش >= 1.9.0
• كودا >= 10.0

تثبيت

تثبيت التبعيات:

git clone https://github.com/VinAIResearch/Blur2Blur
cd Blur2Blur

conda create -n blur2blur python=3.9  
conda activate blur2blur  
pip install -r requirements.txt  

مجموعات البيانات؟

إعداد البيانات

يمكنك تنزيل مجموعة بيانات RB2V المقترحة باتباع هذا البرنامج النصي:

 chmod +x ./dataset/download_RB2V.sh
bash ./dataset/download_RB2V.sh

قم بتنزيل مجموعات البيانات REDS وGoPro وRSBlur ثم قم بفك الضغط إلى المجلد ./dataset وقم بالتنظيم باتباع هذا التنسيق:

 dataset
├── اسم مجموعة البيانات غير المعروفة، على سبيل المثال RB2V-GoPro
    ├── القطارأ
    ├──── (قطار) مجموعة ضبابية من ضبابية غير معروفة
    ├──── ...
    ├── قطار ب
    ├──── (قطار) مجموعة حادة من الضبابية غير المعروفة
    ├──── ...
    ├── القطارC
    ├──── (قطار) مجموعة ضبابية من الضبابية المعروفة
    ├──── ...
    ├── القطارد
    ├──── (قطار) مجموعة حادة من الضبابية المعروفة
    ├──── ...
    ├── اختبارأ
    ├──── (اختبار) مجموعة ضبابية من طمس غير معروف
    ├──── ...

أين:

• TrainA، TrainB : صور Blur/Sharp من مجموعة بيانات Unknown Blur لتحويل نواة التمويه.
• TrainC، TrainD : صور Blur/Sharp من مجموعة بيانات Known Blur لمجال التمويه المستهدف.
• testA : صور ضبابية من test-set لمجموعة بيانات Unknown Blur.

Blur2Blur

تمرين

لتدريب النموذج:

python train.py --dataroot path/to/dataset 
                --name exp_name 
                --model blur2blur --netG mimounet 
                --batch_size 1 
                --dataset_mode unaligned 
                --norm instance --pool_size 0 
                --display_id -1

أو

bash ./scripts/train.sh

باستخدام Blur2Blur

لتقييم النموذج:

python test.py --dataroot datasets/GoPro/b2b_exp/RB2V_GOPRO_filter 
                --name exp_name 
                --eval 
                --model blur2blur --netG mimounet 
                --checkpoints_dir ckpts/ 
                --dataset_mode unaligned 
                --norm instance 

أو

bash ./scripts/test.sh

نتائج ؟

لمزيد من النتائج التفاعلية، يمكنك إلقاء نظرة على صفحة مشروعي: https://zero1778.github.io/blur2blur/

شكر وتقدير

نود أن نعرب عن امتناننا للتطبيقات التالية لمساهماتها في تطوير Blur2Blur:

• pix2pix لتوفير نموذج الكود التأسيسي.
• uvcgan2 للمساعدة في تحسين الكود الأساسي.
• MIMO-UNet وBlur Kernel Extractor لإنشاء العمود الفقري والوحدات الفرعية الأساسية لمشروعنا.

اتصالات ؟

إذا كان لديك أي أسئلة أو اقتراحات حول هذا الريبو، فلا تتردد في الاتصال بي ([email protected]).