STAR pytorch

Star-pytorch

Implémentation du papier "Star: un transformateur léger-peu conscient de la structure pour l'amélioration de l'image en temps réel" (ICCV 2021).

CVF (PDF)

Star-dce

L'implémentation Pytorch de l'amélioration de faible luminosité avec Star sur un ensemble de données Adobe-MIT Fivek. Vous pouvez le trouver dans le répertoire Star-DCE. Ici, nous adoptons le Pipleline de Zero-DCE (papier | code), remplaçant simplement l'épine dorsale CNN par Star. Dans Zero-DCE, pour chaque image, le réseau régresse un groupe de courbes, qui sera ensuite appliquée sur l'image source itérativement. Vous pouvez trouver plus de détails dans le repo d'origine Zero-DCE.

Exigences

• nombant
• einops
• torche
• torchion
• opencv

Ensembles de dates

Nous fournissons des liens de téléchargement pour les ensembles de données Adobe-Mit Fivek que nous avons utilisés (Train | Test). Veuillez noter que nous adoptons l'ensemble de tests divisés par Deeppepe pour une comparaison équitable.

Modèles DCE de formation

Pour entraîner un modèle de star-dce original,

 cd STAR-DCE
python train_dce.py 
  --lowlight_images_path "dir-to-your-training-set" 
  --parallel True 
  --snapshots_folder snapshots/STAR-ori 
  --lr 0.001 
  --num_epochs 100 
  --lr_type cos 
  --train_batch_size 32 
  --model STAR-DCE-Ori 
  --snapshot_iter 10 
  --num_workers 32 

Pour former le DCE-NET basé sur CNN (w ou w o),

 cd STAR-DCE
python train_dce.py 
  --lowlight_images_path "dir-to-your-training-set" 
  --parallel True 
  --snapshots_folder snapshots/DCE 
  --lr 0.001 
  --num_epochs 100 
  --lr_type cos 
  --train_batch_size 32 
  --model DCE-Net 
  --snapshot_iter 10 
  --num_workers 32 

ou

 cd STAR-DCE
python train_dce.py 
  --lowlight_images_path "dir-to-your-training-set" 
  --parallel True 
  --snapshots_folder snapshots/DCE-Pool 
  --lr 0.001 
  --num_epochs 100 
  --lr_type cos 
  --train_batch_size 32 
  --model DCE-Net-Pool 
  --snapshot_iter 10 
  --num_workers 32 

Évaluation des modèles qualifiés

Pour évaluer le modèle Star-DCE que vous avez formé,

 cd STAR-DCE
  python test_dce.py 
  --lowlight_images_path  "dir-to-your-test-set" 
  --parallel True 
  --snapshots_folder snapshots_test/STAR-DCE 
  --val_batch_size 1 
  --pretrain_dir snapshots/STAR-ori/Epoch_best.pth 
  --model STAR-DCE-Ori 

Pour évaluer le modèle DCE-NET que vous avez formé,

 cd STAR-DCE
  python test_dce.py 
  --lowlight_images_path  "dir-to-your-test-set" 
  --parallel True 
  --snapshots_folder snapshots_test/DCE 
  --val_batch_size 1 
  --pretrain_dir snapshots/DCE/Epoch_best.pth 
  --model DCE-Net 

Citation

Si ce code aide vos recherches, veuillez citer notre article :)

 @inproceedings{zhang2021star,
  title={STAR: A Structure-Aware Lightweight Transformer for Real-Time Image Enhancement},
  author={Zhang, Zhaoyang and Jiang, Yitong and Jiang, Jun and Wang, Xiaogang and Luo, Ping and Gu, Jinwei},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  pages={4106--4115},
  year={2021}
}