CORUN ? Colabator ??♂️
NeurIPS2024 สปอตไลท์ ✨
นี่คือรหัส PyTorch อย่างเป็นทางการสำหรับบทความนี้
การกำจัดภาพในโลกแห่งความเป็นจริงด้วยเครื่องมือสร้างฉลากที่ยึดตามการเชื่อมโยงกันและเครือข่ายการขยายความร่วมมือ
เฉิงหยูฟาง, ชุนหมิงเหอ, เฟิงหยาง เสี่ยว, จางหยูหลุน, หลงเซียง ถัง, จางเยว่หลิน, ไคลี่ และซิ่วหลี่
ความก้าวหน้าในระบบประมวลผลข้อมูลทางประสาท 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
เรามีฟังก์ชันการโหลดชุดข้อมูลสองประเภทสำหรับการฝึกโมเดล: ฟังก์ชันหนึ่ง โหลดรูปภาพที่สะอาดและแผนที่ความลึกที่สอดคล้องกันเพื่อสร้างรูปภาพที่ไม่ชัดเจน โดยใช้ไปป์ไลน์การสร้างข้อมูล RIDCP และอีกประเภทหนึ่ง จะโหลดรูปภาพที่สะอาดและเสื่อมคุณภาพที่จับคู่โดยตรง คุณสามารถเลือกวิธีการที่เหมาะสมตามชุดข้อมูลและงานของคุณได้
สำหรับวิธีการสร้างหมอกควัน เรารองรับการอ่านชุดข้อมูล RIDCP500 (โดยที่แผนที่เชิงลึกถูกจัดเก็บเป็นไฟล์ .npy) เช่นเดียวกับชุดข้อมูล OTS/ITS (โดยที่แผนที่เชิงลึกถูกจัดเก็บเป็นไฟล์ .mat) หากชุดข้อมูลของคุณมีภาพที่สะอาดและแผนที่เชิงลึกที่จับคู่กัน คุณก็สามารถใช้ชุดข้อมูลของคุณเองได้เช่นกัน หากชุดข้อมูลของคุณไม่มีแผนที่เชิงลึก คุณสามารถสร้างแผนที่เชิงลึกที่สอดคล้องกันโดยใช้วิธีการต่างๆ เช่น RA-Depth สำหรับวิธีการจับคู่แบบลดระดับ-สะอาด คุณสามารถใช้คู่รูปภาพแบบลดระดับ-ทำความสะอาดแบบจับคู่ใดๆ สำหรับการฝึกอบรมและการทดสอบ
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py ดาวน์โหลดตุ้มน้ำหนัก da-clip ที่ผ่านการฝึกอบรมแล้ววางไว้ใน ./pretrained_weights/ / คุณสามารถดาวน์โหลดตุ้มน้ำหนัก daclip ที่เราใช้ได้จาก Google Drive คุณยังสามารถเลือกโมเดลคลิปประเภทอื่นและน้ำหนักที่เกี่ยวข้องจาก openclip ได้ หากคุณทำเช่นนี้ อย่าลืมแก้ไขตัวเลือกของคุณ
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ หากต้องการปรับแต่งโมเดลของคุณเองโดยใช้ Colabator คุณเพียงแค่เพิ่มเครือข่ายของคุณไปที่ corun_colabator/archs กำหนดไฟล์การกำหนดค่าของคุณเองเป็น Sample_options และเรียกใช้สคริปต์
ดาวน์โหลดน้ำหนัก CORUN ที่ผ่านการฝึกอบรมมาแล้วและวางไว้ใน ./pretrained_weights/ / คุณสามารถดาวน์โหลดน้ำหนัก CORUN ได้จาก Google Drive (เราจะอัปเดตก่อนที่กล้องจะพร้อม)
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSคำนวณผลลัพธ์ NIMA และ BRISQUE
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsเราได้รับประสิทธิภาพที่ล้ำสมัยบนชุดข้อมูล RTTS และ Fattal และงานดาวน์สตรีมที่เกี่ยวข้อง ผลลัพธ์เพิ่มเติมสามารถพบได้ในกระดาษ หากต้องการใช้ผลการทดลองของเราอย่างรวดเร็วโดยไม่ต้องอนุมานด้วยตนเองหรือฝึกอบรมซ้ำ คุณสามารถดาวน์โหลดไฟล์ทั้งหมดที่โมเดลของเราคลาย/กู้คืนจาก Google ไดรฟ์
การเปรียบเทียบภาพบน RTTS
การเปรียบเทียบภาพกับข้อมูลของ Fattal
การเปรียบเทียบการตรวจจับวัตถุด้วยภาพบน RTTS
หากคุณพบว่าโค้ดนี้มีประโยชน์ในการวิจัยหรืองานของคุณ โปรดอ้างอิงเอกสารต่อไปนี้
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
รหัสจะขึ้นอยู่กับ BasicSR โปรดปฏิบัติตามใบอนุญาตของพวกเขาด้วย ขอบคุณสำหรับผลงานที่ยอดเยี่ยมของพวกเขา
