皇冠合作者

CORUN ? Colabator ??‍♂️

NeurIPS2024 聚焦 ✨

這是論文的官方 PyTorch 代碼。

使用基於相干的標籤產生器和協作展開網路進行真實世界影像去霧
方成宇、何春明、肖鳳陽、張玉倫、唐龍翔、張躍林、李凱、李秀
2024 年神經資訊處理系統的進展

？建議 CORUN 的架構以及第 k 階段的詳細資訊 (CORUN)

??‍♂️ 即插即用的基於 Coherence 的偽標籤範例（Colabator）

？訊息

 ⚠️ We found that the previous installation script installed an incorrect version 
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.

• 2024-10-26：我們的結果和預訓練權重已經發布！ ❤️
• 2024-10-23：我們正在處理本文的相機版本，預訓練的權重和測試結果將很快發布。
• 2024-09-26：該論文已被NeurIPS 2024 接受為 Spotlight Paper 。 ？感謝所有參與者、審稿人、主席和委員會。我們將很快發布程式碼。
• 2024-07-26：我們將Colabator框架的程式碼整理並細化到一個單獨的儲存庫中，以促進跨不同網路和任務的更有效率應用。一旦論文被接受，Colabator Template 的儲存庫將與該儲存庫的程式碼一起公開。 ？
• 2024-06-13：我們發布預印本和引文。
• 2024-06-12：我們發布了這項工作的結果和致謝。
• 2024-05-28：我們發布了這個儲存庫，全文預印本即將發布。

⚙️ 依賴關係和安裝

數據集

• RTTS資料集可以從 Dropbox 下載。
• URHI資料集可以從 Dropbox 下載。
• 重複刪除的 URHI可以從 Google 雲端硬碟下載
• RIDCP500可以從 RIDCP 的 Repo 下載

我們提供兩種類型的資料集載入函數用於模型訓練：一種載入乾淨影像和相應的深度圖以使用 RIDCP 資料生成管道產生模糊影像，另一種直接載入配對的乾淨影像和退化影像。您可以根據您的資料集和任務選擇合適的方法。

對於霧霾生成方法，我們支援讀取 RIDCP500 資料集（其中深度圖儲存為 .npy 檔案）以及 OTS/ITS 資料集（其中深度圖儲存為 .mat 檔案）。如果您的資料集包含配對的乾淨影像和深度圖，您也可以使用您自己的資料集。如果您的資料集不包含深度圖，您可以使用RA-Depth等方法產生對應的深度圖。對於配對 degraded-clean 方法，您可以使用任何配對 degraded-clean 影像對進行訓練和測試。

初始化 Conda 環境和克隆儲存庫

git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia

安裝修改後的 BasicSR

 cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..

安裝我們的CORUN-Colabator

pip install -r requirements.txt
python setup.py develop
python init_modules.py

下載預訓練的 da-clip 權重並將其放置在./pretrained_weights/中。您可以從 Google Drive 下載我們使用的 daclip 權重。您也可以從 openclip 中選擇其他類型的剪輯模型和相應的權重，如果您這樣做，請不要忘記修改您的選項。

？火車

⚠️請將選項檔案中的資料集路徑替換為您自己的資料集路徑。

預訓練科力

sh options/train_corun_with_depth.sh

使用 Colabator 微調 CORUN

sh options/train_colabator_with_transmission.sh

✨要使用Colabator微調您自己的模型，您只需將您的網路新增至corun_colabator/archs，將您自己的設定檔定義為sample_options並執行腳本。

?‍♂️測試

下載預訓練的 CORUN 權重並將其放置在./pretrained_weights/中。您可以從Google Drive下載CORUN重量（我們會在相機準備好之前更新它。）

推理

CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0  python3  corun_colabator/simple_test.py 
  --opt options/test_corun.yml 
  --input_dir /path/to/testset/images  
  --result_dir ./results/CORUN 
  --weights ./pretrained_weights/CORUN.pth 
  --dataset RTTS

評價

計算 NIMA 和 BRISQUE 結果。

CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/results

？結果

我們在RTTS和Fattal 的資料集以及相應的下游任務上實現了最先進的效能。更多結果可以在論文中找到。為了快速使用我們的實驗結果而無需手動推理或重新訓練，您可以從 Google Drive 下載我們的模型去霧/恢復的所有文件。

定量比較（點擊展開）

• RTTS 的定量結果

• RTTS 和 Fattal 資料的使用者研究分數

• RTTS 上的物體偵測結果

視覺對比（點擊展開）

• RTTS 上的視覺比較

• Fattal 數據的視覺比較

• RTTS 上目標偵測的視覺比較

？引文

如果您發現程式碼對您的研究或工作有幫助，請引用以下論文。

 @misc{fang2024realworld,
      title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network}, 
      author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
      year={2024},
      eprint={2406.07966},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

？致謝

這些代碼基於 BasicSR。也請遵守他們的許可證。感謝他們的精彩作品。