UDUN

UDUN [ACM-MM'23]

Mise en œuvre officielle de l'article ACM-MM 2023 « Unite-Divide-Unite : Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation »

Jialun Pei, Zhangjun Zhou, Yueming Jin, He Tang✉ et Pheng-Ann Heng

[Papier]; [Version officielle]

Contact : [email protected], [email protected]

Préparation de l'environnement

Exigences

• Linux avec python ≥ 3.8
• Pytorch ≥ 1,7 et torchvison qui correspond à l'installation de Pytorch.
• Ouvrircv
• Numpy
• Sommet

Préparation du jeu de données

Téléchargez les jeux de données et les fichiers d'annotations

• DIS5K

Enregistrer des ensembles de données

1. Téléchargez les ensembles de données et placez-les dans le même dossier. Pour faire correspondre le nom du dossier dans les mappeurs d'ensembles de données, vous feriez mieux de ne pas modifier les noms de dossier, sa structure peut être :

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

Modèles pré-entraînés

• Téléchargez les poids de pré-entraînement dans UDUN-master/pre .

Modèle	Poids de préentraînement UDUN	$F_oméga$ $flèche vers le haut$	MAE $flèche vers le bas$	HCE $flèche vers le bas$
ResNet-18	UDUN-R18	0,807	0,065	1009
ResNet-34	UDUN-R34	0,818	0,060	999
ResNet-50	UDUN-R50	0,831	0,057	977

Téléchargez les poids du modèle optimisés et stockez-les dans UDUN-master/model.

Résultats de visualisation ⚡

Les résultats visuels de notre UDUN avec ResNet-50 formé sur l'ensemble DIS-TE .

• Résultats sur l'ensemble de tests DIS-TE global : Quark/Google

Les résultats visuels des autres SOTA sur l'ensemble DIS-TE .

• Résultats sur l'ensemble de tests DIS-TE global : Quark/Google

Usage

Former et tester

• Pour entraîner notre UDUN sur un seul GPU en suivant la commande, les modèles entraînés seront enregistrés dans le dossier savePath. Vous pouvez modifier le chemin de données si vous souhaitez exécuter vos propres bases de données.

./train.sh

• Pour tester notre UDUN sur DIS5K, les cartes de prédiction seront enregistrées dans le dossier DIS5K_Pre.

python3 test.py 

Évaluation

• Évaluer les résultats prévus.

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

Obtenir la carte du tronc et la carte de la structure

• Divisez la vérité terrain en carte de tronc et carte de structure, qui seront enregistrées dans DIS5K-TR/gt/Trunk-origin et DIS5K-TR/gt/struct-origin.

 cd utils
python3 utils.py

Reconnaissance

Ce travail s'appuie sur :

• FDL

Merci pour leur excellent travail!

Citation

Si cela vous aide, merci de citer ce travail :

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}