CORUN ? Colabator ??♂️
NeurIPS2024 سبوت لايت ✨
هذه هي رموز PyTorch الرسمية للورقة.
إزالة صور العالم الحقيقي باستخدام مولد الملصقات القائم على التماسك والشبكة التعاونية المفتوحة
تشنجيو فانغ، وتشونمينغ هي، وفنغيانغ شياو، ويولون تشانغ، ولونغكسيانغ تانغ، ويولين تشانغ، وكاي لي، وشيو لي
التقدم في أنظمة معالجة المعلومات العصبية 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
نحن نقدم نوعين من وظائف تحميل مجموعات البيانات للتدريب على النماذج: أحدهما يقوم بتحميل الصور النظيفة وخرائط العمق المقابلة لإنشاء صور ضبابية باستخدام خط أنابيب إنشاء بيانات RIDCP، والآخر يقوم بتحميل الصور المقترنة النظيفة والمتدهورة مباشرة . يمكنك اختيار الطريقة المناسبة بناءً على مجموعة البيانات والمهمة الخاصة بك.
بالنسبة لطريقة توليد الضباب ، ندعم قراءة مجموعة بيانات RIDCP500 (حيث يتم تخزين خرائط العمق كملفات .npy) بالإضافة إلى مجموعات بيانات OTS/ITS (حيث يتم تخزين خرائط العمق كملفات .mat). إذا كانت مجموعة البيانات الخاصة بك تحتوي على صور نظيفة مقترنة وخرائط عمق، فيمكنك أيضًا استخدام مجموعة البيانات الخاصة بك. إذا كانت مجموعة البيانات الخاصة بك لا تتضمن خرائط عمق، فيمكنك إنشاء خرائط عمق مقابلة باستخدام طرق مثل RA-Depth. بالنسبة إلى طريقة التنظيف المتدهور المقترنة ، يمكنك استخدام أي أزواج صور مقترنة متحللة النظيف للتدريب والاختبار.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py قم بتنزيل أوزان مقطع da المدربة مسبقًا وضعها في ./pretrained_weights/ . يمكنك تنزيل أوزان daclip التي استخدمناها من Google Drive. يمكنك أيضًا اختيار نوع آخر من نماذج المقاطع والأوزان المقابلة من openclip، إذا قمت بذلك، فلا تنس تعديل خياراتك.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ لضبط النموذج الخاص بك باستخدام Colabator، ما عليك سوى إضافة شبكتك إلى corun_colabator/archs، وتحديد ملف التكوين الخاص بك على أنه Sample_options وتشغيل البرنامج النصي.
قم بتنزيل وزن CORUN المُدرب مسبقًا وضعه في ./pretrained_weights/ . يمكنك تنزيل وزن CORUN من Google Drive (سنقوم بتحديثه قبل أن يصبح جاهزًا للكاميرا.)
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSقم بحساب نتائج NIMA وBRISQUE.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsلقد حققنا أداءً متطورًا في مجموعات بيانات RTTS وفتال والمهام النهائية المقابلة. يمكن العثور على المزيد من النتائج في الورقة. لاستخدام نتائج تجاربنا بسرعة دون الاستدلال اليدوي أو إعادة التدريب، يمكنك تنزيل جميع الملفات التي تمت إزالتها/استعادتها بواسطة نموذجنا من Google Drive.
المقارنة البصرية على RTTS
مقارنة بصرية لبيانات فتال
المقارنة المرئية للكشف عن الكائنات على RTTS
إذا وجدت الكود مفيدًا في بحثك أو عملك، فيرجى الاستشهاد بالورقة (الأوراق) التالية.
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
تعتمد الرموز على BasicSR. يرجى أيضًا اتباع تراخيصهم. شكرا لأعمالهم الرائعة.
