CORUN ? Colabator ??♂️
Sorotan NeurIPS2024 ✨
Ini adalah kode resmi PyTorch untuk makalah tersebut.
Dehazing Gambar di Dunia Nyata dengan Generator Label Berbasis Koherensi dan Jaringan Cooperative Unfolding
Chengyu Fang, Chunming He, Fengyang Xiao, Yulun Zhang, Longxiang Tang, Yuelin Zhang, Kai Li, dan Xiu Li
Kemajuan Sistem Pemrosesan Informasi Neural 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
Kami menyediakan dua jenis fungsi pemuatan kumpulan data untuk pelatihan model: satu memuat gambar bersih dan peta kedalaman yang sesuai untuk menghasilkan gambar kabur menggunakan Pipa Pembuatan Data RIDCP, dan yang lainnya secara langsung memuat gambar bersih dan terdegradasi yang dipasangkan . Anda dapat memilih metode yang sesuai berdasarkan kumpulan data dan tugas Anda.
Untuk metode pembangkitan kabut , kami mendukung pembacaan kumpulan data RIDCP500 (di mana peta kedalaman disimpan sebagai file .npy) serta kumpulan data OTS/ITS (di mana peta kedalaman disimpan sebagai file .mat). Jika kumpulan data Anda berisi pasangan gambar bersih dan peta kedalaman, Anda juga dapat menggunakan kumpulan data Anda sendiri. Jika kumpulan data Anda tidak menyertakan peta kedalaman, Anda dapat membuat peta kedalaman yang sesuai menggunakan metode seperti RA-Depth. Untuk metode pembersihan terdegradasi berpasangan , Anda dapat menggunakan pasangan gambar bersih terdegradasi apa pun untuk pelatihan dan pengujian.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py Unduh beban da-klip yang telah dilatih sebelumnya dan letakkan di ./pretrained_weights/ . Anda dapat mendownload anak timbangan daclip yang kami gunakan dari Google Drive. Anda juga dapat memilih jenis model klip lain dan bobot yang sesuai dari openclip, jika Anda melakukan ini, jangan lupa untuk mengubah pilihan Anda.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Untuk menyempurnakan model Anda sendiri menggunakan Colabator, Anda hanya perlu menambahkan jaringan Anda ke corun_colabator/archs, tentukan file konfigurasi Anda sendiri sebagai sample_options dan jalankan skrip.
Unduh beban CORUN yang telah dilatih sebelumnya dan letakkan di ./pretrained_weights/ . Anda dapat mengunduh bobot CORUN dari Google Drive (Kami akan memperbaruinya sebelum kamera siap.)
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSHitung hasil NIMA dan BRISQUE.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsKami mencapai kinerja canggih pada kumpulan data RTTS dan Fattal serta tugas hilir terkait. Hasil lebih lanjut dapat ditemukan di makalah. Untuk menggunakan hasil eksperimen kami dengan cepat tanpa inferensi manual atau pelatihan ulang, Anda dapat mengunduh semua file yang dihilangkan/dipulihkan oleh model kami dari Google Drive.
Perbandingan visual pada RTTS
Perbandingan visual pada data Fattal
Perbandingan visual deteksi objek pada RTTS
Jika Anda merasa kode ini berguna dalam penelitian atau pekerjaan Anda, silakan kutip makalah berikut.
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Kode-kode tersebut didasarkan pada BasicSR. Harap ikuti juga lisensi mereka. Terima kasih atas karya luar biasa mereka.
