CORUN ? Colabator ??♂️
NeurIPS2024 スポットライト ✨
これは論文の公式 PyTorch コードです。
コヒーレンスベースのラベルジェネレーターと協調展開ネットワークによる現実世界の画像のかすみ除去
Chengyu Fang、Chunming He、Fengyang Xiao、Yulun Zhang、Longxiang Tang、Yuelin Zhang、Kai Li、Xiu Li
神経情報処理システムの進歩 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
モデル トレーニング用に 2 種類のデータセット読み込み関数を提供します。1 つは、きれいな画像と対応する深度マップを読み込み、RIDCP データ生成パイプラインを使用してかすんだ画像を生成します。もう 1 つは、きれいな画像と劣化した画像のペアを直接読み込みます。データセットとタスクに基づいて適切な方法を選択できます。
ヘイズ生成方法では、RIDCP500 データセット (深度マップが .npy ファイルとして保存されている) および OTS/ITS データセット (深度マップが .mat ファイルとして保存されている) の読み取りをサポートしています。データセットにクリーンな画像と深度マップのペアが含まれている場合は、独自のデータセットを使用することもできます。データセットに深度マップが含まれていない場合は、RA-Depth などの方法を使用して、対応する深度マップを生成できます。ペアの劣化したクリーンなイメージのペアの場合、トレーニングとテストに任意の劣化したクリーンなイメージのペアを使用できます。
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py事前トレーニングされた da-clip ウェイトをダウンロードし、 ./pretrained_weights/に配置します。私たちが使用した daclip 重みは Google ドライブからダウンロードできます。 openclip から他のタイプのクリップ モデルと対応するウェイトを選択することもできます。その場合は、オプションを変更することを忘れないでください。
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Colabator を使用して独自のモデルを微調整するには、ネットワークを corun_colabator/archs に追加し、独自の構成ファイルをsample_options として定義して、スクリプトを実行するだけです。
事前トレーニングされた CORUN 重みをダウンロードし、 ./pretrained_weights/に配置します。 CORUN ウェイトは Google Drive からダウンロードできます (カメラの準備が整う前に更新されます)。
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSNIMA と BRISQUE の結果を計算します。
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/results私たちは、 RTTSとFattal のデータセット、および対応する下流タスクで最先端のパフォーマンスを達成しました。さらに詳しい結果は論文でご覧いただけます。手動による推論や再トレーニングを行わずに実験の結果をすぐに使用するには、モデルによってかすみ除去/復元されたすべてのファイルを Google ドライブからダウンロードできます。
RTTS での視覚的な比較
Fattal のデータの視覚的な比較
RTTS での物体検出の視覚的な比較
コードが研究や仕事に役立つと思われる場合は、次の論文を引用してください。
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
コードは BasicSR に基づいています。ライセンスにも従ってください。彼らの素晴らしい作品をありがとう。
