CORUN ? Colabator ??♂️
NeurIPS2024 스포트라이트 ✨
이것은 논문의 공식 PyTorch 코드입니다.
일관성 기반 라벨 생성기와 협력적 전개 네트워크를 사용한 실제 이미지 디헤이징
Chengyu Fang, Chunming He, Fengyang Xiao, Yulun Zhang, Longxiang Tang, Yuelin Zhang, Kai Li 및 Xiu Li
신경 정보 처리 시스템의 발전 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
우리는 모델 훈련을 위해 두 가지 유형의 데이터 세트 로드 기능을 제공합니다. 하나는 RIDCP 데이터 생성 파이프라인을 사용하여 흐릿한 이미지를 생성하기 위해 깨끗한 이미지와 해당 깊이 맵을 로드하고 , 다른 하나는 쌍을 이루는 깨끗하고 저하된 이미지를 직접 로드합니다 . 데이터세트와 작업에 따라 적절한 방법을 선택할 수 있습니다.
안개 생성 방법의 경우 RIDCP500 데이터세트(깊이 맵이 .npy 파일로 저장됨)와 OTS/ITS 데이터세트(깊이 맵이 .mat 파일로 저장됨) 읽기를 지원합니다. 데이터 세트에 깨끗한 이미지와 깊이 맵이 쌍으로 포함되어 있는 경우 자체 데이터 세트를 사용할 수도 있습니다. 데이터 세트에 깊이 맵이 포함되어 있지 않은 경우 RA-Depth와 같은 방법을 사용하여 해당 깊이 맵을 생성할 수 있습니다. Degraded-Clean 쌍 방법의 경우 교육 및 테스트에 Degraded-Clean 쌍의 이미지 쌍을 사용할 수 있습니다.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py 사전 훈련된 da-clip 가중치를 다운로드하여 ./pretrained_weights/ 에 배치합니다. 우리가 사용한 daclip 가중치는 Google Drive에서 다운로드할 수 있습니다. Openclip에서 다른 유형의 클립 모델과 해당 가중치를 선택할 수도 있습니다. 이 경우 옵션을 수정하는 것을 잊지 마세요.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Colabator를 사용하여 자신의 모델을 미세 조정하려면 corun_colabator/archs에 네트워크를 추가하고 자신의 구성 파일을 Sample_options로 정의한 후 스크립트를 실행하기만 하면 됩니다.
사전 훈련된 CORUN 가중치를 다운로드하여 ./pretrained_weights/ 에 배치합니다. CORUN 웨이트는 Google Drive에서 다운로드하실 수 있습니다. (카메라가 준비되기 전에 업데이트하겠습니다.)
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSNIMA 및 BRISQUE 결과를 계산합니다.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/results우리는 RTTS 및 Fattal의 데이터세트와 해당 다운스트림 작업에서 최고 수준의 성능을 달성했습니다. 더 많은 결과는 논문에서 확인할 수 있습니다. 수동 추론이나 재학습 없이 실험 결과를 빠르게 사용하려면 Google 드라이브에서 모델에 의해 디헤이즈/복원된 모든 파일을 다운로드할 수 있습니다.
RTTS의 시각적 비교
Fattal의 데이터에 대한 시각적 비교
RTTS의 객체 감지 시각적 비교
귀하의 연구나 작업에 코드가 도움이 된다면 다음 논문을 인용해 주세요.
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
코드는 BasicSR을 기반으로 합니다. 또한 해당 라이센스를 따르십시오. 그들의 멋진 작품에 감사드립니다.
