UDUN

UDUN [ACM-MM'23]

Offizielle Umsetzung des ACM-MM 2023-Papiers „Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation“

Jialun Pei, Zhangjun Zhou, Yueming Jin, He Tang✉ und Pheng-Ann Heng

[Papier]; [Offizielle Version]

Kontakt: [email protected], [email protected]

Umgebungsvorbereitung

Anforderungen

• Linux mit Python ≥ 3.8
• Pytorch ≥ 1.7 und Torchvison, das zur Pytorch-Installation passt.
• Opencv
• Numpy
• Apex

Datensatzvorbereitung

Laden Sie die Datensätze und Anmerkungsdateien herunter

• DIS5K

Datensätze registrieren

1. Laden Sie die Datensätze herunter und legen Sie sie im selben Ordner ab. Um den Ordnernamen in den Dataset-Mappern abzugleichen, sollten Sie die Ordnernamen besser nicht ändern. Die Struktur könnte wie folgt aussehen:

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

Vorab trainierte Modelle

• Laden Sie die Gewichte vor dem Training in UDUN-master/pre herunter.

Modell	UDUN-Vortrainingsgewichte	$F_omega$ $uparrow$	MAE $downarrow$	HCE $downarrow$
ResNet-18	UDUN-R18	0,807	0,065	1009
ResNet-34	UDUN-R34	0,818	0,060	999
ResNet-50	UDUN-R50	0,831	0,057	977

Laden Sie die optimierten Modellgewichte herunter und speichern Sie sie in UDUN-master/model.

Visualisierungsergebnisse ⚡

Die visuellen Ergebnisse unseres UDUN mit ResNet-50, trainiert auf Overall DIS-TE .

• Ergebnisse zum gesamten DIS-TE-Testsatz: Quark/Google

Die visuellen Ergebnisse anderer SOTAs zum Gesamt-DIS-TE .

• Ergebnisse zum gesamten DIS-TE-Testsatz: Quark/Google

Verwendung

Trainieren und testen

• Um unser UDUN auf einer einzelnen GPU zu trainieren, indem Sie dem folgenden Befehl folgen, werden die trainierten Modelle im Ordner savePath gespeichert. Sie können den Datenpfad ändern, wenn Sie Ihre eigenen Datensätze ausführen möchten.

./train.sh

• Um unser UDUN auf DIS5K zu testen, werden die Vorhersagekarten im Ordner DIS5K_Pre gespeichert.

python3 test.py 

Auswertung

• Um die vorhergesagten Ergebnisse auszuwerten.

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

Holen Sie sich Trunk Map und Struct Map

• Teilen Sie die Grundwahrheit in Trunk-Map und Struktur-Map auf, die in DIS5K-TR/gt/Trunk-origin und DIS5K-TR/gt/struct-origin gespeichert werden.

 cd utils
python3 utils.py

Anerkennung

Diese Arbeit basiert auf:

• LDF

Vielen Dank für ihre tolle Arbeit!

Zitat

Wenn Ihnen das weiterhilft, zitieren Sie bitte dieses Werk:

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}