CORUN ? Colabator ??♂️
В центре внимания NeurIPS2024 ✨
Это официальные коды PyTorch для статьи.
Реальное устранение дымки изображения с помощью генератора меток на основе когерентности и сети кооперативного развертывания
Чэнъюй Фан, Чуньмин Хэ, Фэнъян Сяо, Юлун Чжан, Лунсян Тан, Юэлин Чжан, Кай Ли и Сю Ли
Достижения в области нейронных систем обработки информации, 2024 г.
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
Мы предоставляем два типа функций загрузки набора данных для обучения модели: один загружает чистые изображения и соответствующие карты глубины для создания туманных изображений с помощью конвейера генерации данных RIDCP, а другой напрямую загружает парные чистые и ухудшенные изображения . Вы можете выбрать подходящий метод в зависимости от вашего набора данных и задачи.
Для метода генерации дымки мы поддерживаем чтение набора данных RIDCP500 (где карты глубины хранятся в виде файлов .npy), а также наборов данных OTS/ITS (где карты глубины хранятся в виде файлов .mat). Если ваш набор данных содержит парные чистые изображения и карты глубины, вы также можете использовать свой собственный набор данных. Если ваш набор данных не включает карты глубины, вы можете создать соответствующие карты глубины, используя такие методы, как RA-Depth. Для парного метода «деградация-чистка» вы можете использовать любые пары парных изображений «деградация-чистка» для обучения и тестирования.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py Загрузите предварительно обученные веса da-clip и поместите их в ./pretrained_weights/ . Вы можете скачать грузики, которые мы использовали, с Google Диска. Вы также можете выбрать другой тип моделей клипов и соответствующий вес из openclip. Если вы это сделаете, не забудьте изменить свои параметры.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Чтобы настроить собственную модель с помощью Colabator, вам нужно всего лишь добавить свою сеть в corun_colabator/archs, определить собственный файл конфигурации как sample_options и запустить скрипт.
Загрузите предварительно обученный вес CORUN и поместите его в ./pretrained_weights/ . Вы можете загрузить вес CORUN с Google Диска (мы обновим его перед тем, как он будет готов к использованию в камере).
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSРассчитайте результаты NIMA и BRISQUE.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsМы достигли высочайшего уровня производительности при работе с наборами данных RTTS и Fattal и соответствующими последующими задачами. Дополнительные результаты можно найти в статье. Чтобы быстро использовать результаты наших экспериментов без ручного вывода или повторного обучения, вы можете загрузить все файлы, очищенные/восстановленные с помощью нашей модели, с Google Диска.
Визуальное сравнение по RTTS
Визуальное сравнение данных Фаттала
Визуальное сравнение обнаружения объектов по RTTS
Если вы найдете код полезным в своих исследованиях или работе, процитируйте следующие статьи.
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Коды основаны на BasicSR. Пожалуйста, также следуйте их лицензиям. Спасибо за их потрясающие работы.
