CORUN ? Colabator ??♂️
Destaque NeurIPS2024 ✨
Estes são os códigos PyTorch oficiais para o artigo.
Desembaçamento de imagens do mundo real com gerador de rótulos baseado em coerência e rede de desdobramento cooperativo
Chengyu Fang, Chunming He, Fengyang Xiao, Yulun Zhang, Longxiang Tang, Yuelin Zhang, Kai Li e Xiu Li
Avanços em Sistemas de Processamento de Informação Neural 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
Fornecemos dois tipos de funções de carregamento de conjunto de dados para treinamento de modelo: uma carrega imagens limpas e mapas de profundidade correspondentes para gerar imagens nebulosas usando o pipeline de geração de dados RIDCP e a outra carrega diretamente imagens limpas e degradadas emparelhadas . Você pode escolher o método apropriado com base no seu conjunto de dados e tarefa.
Para o método de geração de neblina , oferecemos suporte à leitura do conjunto de dados RIDCP500 (onde os mapas de profundidade são armazenados como arquivos .npy), bem como dos conjuntos de dados OTS/ITS (onde os mapas de profundidade são armazenados como arquivos .mat). Se o seu conjunto de dados contiver imagens limpas e mapas de profundidade emparelhados, você também poderá usar seu próprio conjunto de dados. Se o seu conjunto de dados não incluir mapas de profundidade, você poderá gerar mapas de profundidade correspondentes usando métodos como RA-Depth. Para o método emparelhado degradado-limpo , você pode usar qualquer par de imagens emparelhadas degradadas-limpas para treinamento e teste.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py Baixe os pesos da-clip pré-treinados e coloque-os em ./pretrained_weights/ . Você pode baixar os pesos daclip que usamos no Google Drive. Você também pode escolher outros tipos de modelos de clipe e pesos correspondentes no openclip, se fizer isso, não se esqueça de modificar suas opções.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Para ajustar seu próprio modelo usando Colabator, você só precisa adicionar sua rede em corun_colabator/archs, definir seu próprio arquivo de configuração como sample_options e executar o script.
Baixe o peso CORUN pré-treinado e coloque-o em ./pretrained_weights/ . Você pode baixar o peso CORUN do Google Drive (vamos atualizá-lo antes de estar pronto para a câmera).
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSCalcule os resultados NIMA e BRISQUE.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsAlcançamos desempenho de última geração nos conjuntos de dados RTTS e Fattal e nas tarefas downstream correspondentes. Mais resultados podem ser encontrados no artigo. Para usar rapidamente os resultados de nossos experimentos sem inferência manual ou retreinamento, você pode baixar todos os arquivos removidos/restaurados por nosso modelo do Google Drive.
Comparação visual em RTTS
Comparação visual dos dados de Fattal
Comparação visual da detecção de objetos no RTTS
Se você achar o código útil em sua pesquisa ou trabalho, cite o(s) seguinte(s) artigo(s).
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Os códigos são baseados em BasicSR. Siga também suas licenças. Obrigado por seus trabalhos incríveis.
