UDUN

UDÚN [ACM-MM'23]

Implementación oficial del documento ACM-MM 2023 "Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dicotomous Image Segmentation"

Jialun Pei, Zhangjun Zhou, Yueming Jin, He Tang✉ y Pheng-Ann Heng

[Papel]; [Versión oficial]

Contacto: [email protected], [email protected]

Preparación del entorno

Requisitos

• Linux con Python ≥ 3.8
• Pytorch ≥ 1.7 y torchvison que coincida con la instalación de Pytorch.
• abiertocv
• numpy
• Ápex

Preparación del conjunto de datos

Descargue los conjuntos de datos y los archivos de anotaciones

• DIS5K

Registrar conjuntos de datos

1. Descargue los conjuntos de datos y colóquelos en la misma carpeta. Para que coincida con el nombre de la carpeta en los mapeadores del conjunto de datos, será mejor que no cambie los nombres de las carpetas, su estructura puede ser:

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

Modelos previamente entrenados

• Descargue los pesos previos al entrenamiento en UDUN-master/pre.

Modelo	Pesas previas al entrenamiento UDUN	$F_omega$ $arriba$	MAE $flecha abajo$	HCE $flecha abajo$
ResNet-18	UDUN-R18	0.807	0.065	1009
ResNet-34	UDUN-R34	0.818	0.060	999
ResNet-50	UDUN-R50	0.831	0.057	977

Descargue los pesos del modelo optimizado y guárdelos en UDUN-master/model.

Resultados de visualización ⚡

Los resultados visuales de nuestro UDUN con ResNet-50 entrenado en DIS-TE general .

• Resultados del conjunto de pruebas DIS-TE general: Quark/Google

Los resultados visuales de otros SOTA en DIS-TE general .

• Resultados del conjunto de pruebas DIS-TE general: Quark/Google

Uso

Entrenar y probar

• Para entrenar nuestro UDUN en una sola GPU mediante el siguiente comando, los modelos entrenados se guardarán en la carpeta savePath. Puede modificar la ruta de datos si desea ejecutar sus propios datos.

./train.sh

• Para probar nuestro UDUN en DIS5K, los mapas de predicción se guardarán en la carpeta DIS5K_Pre.

python3 test.py 

Evaluación

• Evaluar los resultados previstos.

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

Obtener mapa de tronco y mapa de estructura

• Divida la verdad del terreno en un mapa troncal y un mapa de estructura, que se guardarán en DIS5K-TR/gt/Trunk-origin y DIS5K-TR/gt/struct-origin.

 cd utils
python3 utils.py

Reconocimiento

Este trabajo se basa en:

• LDF

¡Gracias por su gran trabajo!

Citación

Si esto le ayuda, cite este trabajo:

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}