CORUN ? Colabator ??♂️
Pleins feux sur NeurIPS2024 ✨
Il s'agit des codes PyTorch officiels du papier.
Désembuage d'images du monde réel avec un générateur d'étiquettes basé sur la cohérence et un réseau de déploiement coopératif
Chengyu Fang, Chunming He, Fengyang Xiao, Yulun Zhang, Longxiang Tang, Yuelin Zhang, Kai Li et Xiu Li
Avancées dans les systèmes de traitement de l’information neuronale 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
Nous fournissons deux types de fonctions de chargement d'ensembles de données pour la formation de modèles : l'une charge des images propres et les cartes de profondeur correspondantes pour générer des images floues à l'aide du pipeline de génération de données RIDCP, et l'autre charge directement des images propres et dégradées appariées . Vous pouvez choisir la méthode appropriée en fonction de votre ensemble de données et de votre tâche.
Pour la méthode de génération de brume , nous prenons en charge la lecture de l'ensemble de données RIDCP500 (où les cartes de profondeur sont stockées sous forme de fichiers .npy) ainsi que des ensembles de données OTS/ITS (où les cartes de profondeur sont stockées sous forme de fichiers .mat). Si votre ensemble de données contient des images nettes et des cartes de profondeur appariées, vous pouvez également utiliser votre propre ensemble de données. Si votre ensemble de données n'inclut pas de cartes de profondeur, vous pouvez générer des cartes de profondeur correspondantes à l'aide de méthodes telles que RA-Depth. Pour la méthode couplée degraded-clean , vous pouvez utiliser n’importe quelle paire d’images degraded-clean appariées pour l’entraînement et les tests.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py Téléchargez les poids da-clip pré-entraînés et placez-les dans ./pretrained_weights/ . Vous pouvez télécharger les poids Daclip que nous avons utilisés depuis Google Drive. Vous pouvez également choisir d'autres types de modèles de clips et les poids correspondants depuis openclip, si vous faites cela, n'oubliez pas de modifier vos options.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Pour affiner votre propre modèle à l'aide de Colabator, il vous suffit d'ajouter votre réseau à corun_colabator/archs, de définir votre propre fichier de configuration comme sample_options et d'exécuter le script.
Téléchargez le poids CORUN pré-entraîné et placez-le dans ./pretrained_weights/ . Vous pouvez télécharger le poids CORUN depuis Google Drive (nous le mettrons à jour avant qu'il soit prêt pour l'appareil photo.)
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSCalculez les résultats NIMA et BRISQUE.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsNous avons atteint des performances de pointe sur les ensembles de données RTTS et Fattal et les tâches en aval correspondantes. Plus de résultats peuvent être trouvés dans l’article. Pour utiliser rapidement les résultats de nos expériences sans inférence manuelle ni recyclage, vous pouvez télécharger tous les fichiers déhazés/restaurés par notre modèle depuis Google Drive.
Comparaison visuelle sur RTTS
Comparaison visuelle sur les données de Fattal
Comparaison visuelle de la détection d'objets sur RTTS
Si vous trouvez le code utile dans votre recherche ou votre travail, veuillez citer le(s) article(s) suivant(s).
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Les codes sont basés sur BasicSR. Veuillez également suivre leurs licences. Merci pour leurs superbes travaux.
