皇冠合作者

CORUN ? Colabator ??‍♂️

NeurIPS2024 聚焦 ✨

这是该论文的官方 PyTorch 代码。

使用基于相干的标签生成器和协作展开网络进行真实世界图像去雾
方成宇、何春明、肖凤阳、张玉伦、唐龙翔、张跃林、李凯、李秀
2024 年神经信息处理系统的进展

？拟议 CORUN 的架构以及第 k 阶段的详细信息 (CORUN)

??‍♂️ 即插即用的基于 Coherence 的伪标签范例（Colabator）

？消息

 ⚠️ We found that the previous installation script installed an incorrect version 
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.

• 2024-10-26：我们的结果和预训练权重已经发布！ ❤️
• 2024-10-23：我们正在处理本文的相机版本，预训练的权重和测试结果将很快发布。
• 2024-09-26：该论文已被NeurIPS 2024 接受为 Spotlight Paper 。 ？感谢所有参与者、审稿人、主席和委员会。我们将很快发布代码。
• 2024-07-26：我们将Colabator框架的代码整理并细化到一个单独的存储库中，以促进跨不同网络和任务的更高效应用。一旦论文被接受，Colabator Template 的存储库将与该存储库的代码一起公开。 ？
• 2024-06-13：我们发布预印本和引文。
• 2024-06-12：我们发布了这项工作的结果和致谢。
• 2024-05-28：我们发布了这个存储库，全文预印本即将发布。

⚙️ 依赖关系和安装

数据集

• RTTS数据集可以从 Dropbox 下载。
• URHI数据集可以从 Dropbox 下载。
• 重复删除的 URHI可以从 Google 云端硬盘下载
• RIDCP500可以从 RIDCP 的 Repo 下载

我们提供两种类型的数据集加载函数用于模型训练：一种加载干净图像和相应的深度图以使用 RIDCP 数据生成管道生成模糊图像，另一种直接加载配对的干净图像和退化图像。您可以根据您的数据集和任务选择合适的方法。

对于雾霾生成方法，我们支持读取 RIDCP500 数据集（其中深度图存储为 .npy 文件）以及 OTS/ITS 数据集（其中深度图存储为 .mat 文件）。如果您的数据集包含配对的干净图像和深度图，您也可以使用您自己的数据集。如果您的数据集不包含深度图，您可以使用RA-Depth等方法生成相应的深度图。对于配对 degraded-clean 方法，您可以使用任何配对 degraded-clean 图像对进行训练和测试。

初始化 Conda 环境和克隆存储库

git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安装修改后的 BasicSR

 cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..

安装我们的CORUN-Colabator

pip install -r requirements.txt
python setup.py develop
python init_modules.py

下载预训练的 da-clip 权重并将其放置在./pretrained_weights/中。您可以从 Google Drive 下载我们使用的 daclip 权重。您还可以从 openclip 中选择其他类型的剪辑模型和相应的权重，如果您这样做，请不要忘记修改您的选项。

？火车

⚠️请将选项文件中的数据集路径替换为您自己的数据集路径。

预训练科力

sh options/train_corun_with_depth.sh

使用 Colabator 微调 CORUN

sh options/train_colabator_with_transmission.sh

✨要使用Colabator微调您自己的模型，您只需将您的网络添加到corun_colabator/archs，将您自己的配置文件定义为sample_options并运行脚本。

?‍♂️测试

下载预训练的 CORUN 权重并将其放置在./pretrained_weights/中。您可以从Google Drive下载CORUN重量（我们会在相机准备好之前更新它。）

推理

CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0  python3  corun_colabator/simple_test.py 
  --opt options/test_corun.yml 
  --input_dir /path/to/testset/images  
  --result_dir ./results/CORUN 
  --weights ./pretrained_weights/CORUN.pth 
  --dataset RTTS

评价

计算 NIMA 和 BRISQUE 结果。

CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/results

？结果

我们在RTTS和Fattal 的数据集以及相应的下游任务上实现了最先进的性能。更多结果可以在论文中找到。为了快速使用我们的实验结果而无需手动推理或重新训练，您可以从 Google Drive 下载我们的模型去雾/恢复的所有文件。

定量比较（点击展开）

• RTTS 的定量结果

• RTTS 和 Fattal 数据的用户研究分数

• RTTS 上的物体检测结果

视觉对比（点击展开）

• RTTS 上的视觉比较

• Fattal 数据的视觉比较

• RTTS 上目标检测的视觉比较

？引文

如果您发现该代码对您的研究或工作有帮助，请引用以下论文。

 @misc{fang2024realworld,
      title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network}, 
      author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
      year={2024},
      eprint={2406.07966},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

？致谢

这些代码基于 BasicSR。还请遵守他们的许可证。感谢他们的精彩作品。