CORUN ? Colabator ??♂️
NeurIPS2024 destacado ✨
Estos son los códigos oficiales de PyTorch para el artículo.
Eliminación de neblina de imágenes del mundo real con un generador de etiquetas basado en coherencia y una red de despliegue cooperativo
Chengyu Fang, Chunming He, Fengyang Xiao, Yulun Zhang, Longxiang Tang, Yuelin Zhang, Kai Li y Xiu Li
Avances en sistemas de procesamiento de información neuronal 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
Proporcionamos dos tipos de funciones de carga de conjuntos de datos para el entrenamiento de modelos: una carga imágenes limpias y los mapas de profundidad correspondientes para generar imágenes borrosas utilizando el canal de generación de datos RIDCP, y la otra carga directamente imágenes limpias y degradadas emparejadas . Puede elegir el método apropiado según su conjunto de datos y tarea.
Para el método de generación de neblina , admitimos la lectura del conjunto de datos RIDCP500 (donde los mapas de profundidad se almacenan como archivos .npy), así como los conjuntos de datos OTS/ITS (donde los mapas de profundidad se almacenan como archivos .mat). Si su conjunto de datos contiene imágenes limpias emparejadas y mapas de profundidad, también puede utilizar su propio conjunto de datos. Si su conjunto de datos no incluye mapas de profundidad, puede generar los mapas de profundidad correspondientes utilizando métodos como RA-Depth. Para el método emparejado limpio y degradado , puede utilizar cualquier par de imágenes emparejadas limpias y degradadas para entrenamiento y prueba.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py Descargue los pesos da-clip previamente entrenados y colóquelos en ./pretrained_weights/ . Puede descargar los pesos daclip que utilizamos desde Google Drive. También puedes elegir otro tipo de modelos de clip y los pesos correspondientes desde openclip, si haces esto, no olvides modificar tus opciones.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Para ajustar su propio modelo usando Colabator, solo necesita agregar su red a corun_colabator/archs, definir su propio archivo de configuración como sample_options y ejecutar el script.
Descargue el peso CORUN previamente entrenado y colóquelo en ./pretrained_weights/ . Puede descargar el peso CORUN desde Google Drive (lo actualizaremos antes de que esté listo para la cámara).
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSCalcule los resultados NIMA y BRISQUE.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsLogramos un rendimiento de vanguardia en los conjuntos de datos de RTTS y Fattal y las tareas posteriores correspondientes. Se pueden encontrar más resultados en el artículo. Para utilizar rápidamente los resultados de nuestros experimentos sin inferencia manual ni reentrenamiento, puede descargar todos los archivos eliminados/restaurados por nuestro modelo desde Google Drive.
Comparación visual en RTTS
Comparación visual de los datos de Fattal
Comparación visual de detección de objetos en RTTS
Si encuentra útil el código en su investigación o trabajo, cite los siguientes artículos.
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Los códigos se basan en BasicSR. Siga también sus licencias. Gracias por sus increíbles trabajos.
