CORUN ? Colabator ??♂️
NeurIPS2024 Spotlight ✨
Dies sind die offiziellen PyTorch-Codes für das Papier.
Reale Bildenttrübung mit kohärenzbasiertem Etikettengenerator und kooperativem Entfaltungsnetzwerk
Chengyu Fang, Chunming He, Fengyang Xiao, Yulun Zhang, Longxiang Tang, Yuelin Zhang, Kai Li und Xiu Li
Fortschritte in neuronalen Informationsverarbeitungssystemen 2024
⚠️ We found that the previous installation script installed an incorrect version
of PyTorch and Numpy, which led to erroneous experimental results. Users who used
the repository code before 2024-10-23 should reconfigure the environment using the
new script, and ensure that PyTorch version 2.1.2 is installed.
Wir bieten zwei Arten von Funktionen zum Laden von Datensätzen für das Modelltraining: Eine lädt saubere Bilder und entsprechende Tiefenkarten, um mithilfe der RIDCP-Datengenerierungspipeline verschwommene Bilder zu generieren , und die andere lädt gepaarte saubere und beeinträchtigte Bilder direkt . Sie können die geeignete Methode basierend auf Ihrem Datensatz und Ihrer Aufgabe auswählen.
Für die Dunsterzeugungsmethode unterstützen wir das Lesen des RIDCP500-Datensatzes (wo Tiefenkarten als .npy-Dateien gespeichert werden) sowie der OTS/ITS-Datensätze (wo Tiefenkarten als .mat-Dateien gespeichert werden). Wenn Ihr Datensatz gepaarte saubere Bilder und Tiefenkarten enthält, können Sie auch Ihren eigenen Datensatz verwenden. Wenn Ihr Datensatz keine Tiefenkarten enthält, können Sie entsprechende Tiefenkarten mit Methoden wie RA-Depth erstellen. Für die gepaarte Degraded-Clean-Methode können Sie beliebige gepaarte Degraded-Clean-Bildpaare für Training und Tests verwenden.
git clone https://github.com/cnyvfang/CORUN-Colabator.git
conda create -n corun_colabator python=3.9
conda activate corun_colabator
# If necessary, Replace pytorch-cuda=? with the compatible version of your GPU driver.
conda install pytorch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 pytorch-cuda=12.1 -c pytorch -c nvidia
cd basicsr_modified
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple # Run this line if in Chinese Mainland
pip install -r requirements.txt
python setup.py develop
cd ..pip install -r requirements.txt
python setup.py develop
python init_modules.py Laden Sie die vorab trainierten da-clip-Gewichte herunter und platzieren Sie sie in ./pretrained_weights/ . Sie können die von uns verwendeten Daclip-Gewichte von Google Drive herunterladen. Sie können bei openclip auch andere Arten von Clip-Modellen und entsprechende Gewichte auswählen. Vergessen Sie in diesem Fall nicht, Ihre Optionen zu ändern.
sh options/train_corun_with_depth.shsh options/train_colabator_with_transmission.sh✨ Um Ihr eigenes Modell mit Colabator zu optimieren, müssen Sie nur Ihr Netzwerk zu corun_colabator/archs hinzufügen, Ihre eigene Konfigurationsdatei als sample_options definieren und das Skript ausführen.
Laden Sie das vorab trainierte CORUN-Gewicht herunter und platzieren Sie es in ./pretrained_weights/ . Sie können das CORUN-Gewicht von Google Drive herunterladen (wir werden es aktualisieren, bevor es für die Kamera bereit ist).
CUDA_VISIBLE_DEVICES=0 sh options/valid.corun.sh
# OR
CUDA_VISIBLE_DEVICES=0 python3 corun_colabator/simple_test.py
--opt options/test_corun.yml
--input_dir /path/to/testset/images
--result_dir ./results/CORUN
--weights ./pretrained_weights/CORUN.pth
--dataset RTTSBerechnen Sie die NIMA- und BRISQUE-Ergebnisse.
CUDA_VISIBLE_DEVICES=0 python evaluate.py --input_dir /path/to/resultsWir haben mit den RTTS- und Fattal- Datensätzen und den entsprechenden nachgelagerten Aufgaben eine erstklassige Leistung erzielt. Weitere Ergebnisse finden Sie im Artikel. Um die Ergebnisse unserer Experimente schnell und ohne manuelle Rückschlüsse oder erneutes Training nutzen zu können, können Sie alle von unserem Modell entschärften/wiederhergestellten Dateien von Google Drive herunterladen.
Visueller Vergleich auf RTTS
Visueller Vergleich der Daten von Fattal
Visueller Vergleich der Objekterkennung auf RTTS
Wenn Sie den Code für Ihre Forschung oder Arbeit hilfreich finden, zitieren Sie bitte die folgenden Artikel.
@misc{fang2024realworld,
title={Real-world Image Dehazing with Coherence-based Label Generator and Cooperative Unfolding Network},
author={Chengyu Fang and Chunming He and Fengyang Xiao and Yulun Zhang and Longxiang Tang and Yuelin Zhang and Kai Li and Xiu Li},
year={2024},
eprint={2406.07966},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
Die Codes basieren auf BasicSR. Bitte beachten Sie auch deren Lizenzen. Vielen Dank für ihre tollen Arbeiten.
