UDUN

UDUN [ACM-MM'23]

Implementação oficial do artigo ACM-MM 2023 "Unir-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dicotomous Image Segmentation"

Jialun Pei, Zhangjun Zhou, Yueming Jin, He Tang✉ e Pheng-Ann Heng

[Papel]; [Versão Oficial]

Contato: [email protected], [email protected]

Preparação do ambiente

Requisitos

• Linux com python ≥ 3.8
• Pytorch ≥ 1,7 e torchvison que corresponde à instalação do Pytorch.
• Opencv
• Entorpecido
• Ápice

Preparação do conjunto de dados

Baixe os conjuntos de dados e arquivos de anotação

• DIS5K

Registrar conjuntos de dados

1. Baixe os conjuntos de dados e coloque-os na mesma pasta. Para corresponder ao nome da pasta nos mapeadores do conjunto de dados, é melhor não alterar os nomes das pastas, sua estrutura pode ser:

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

Modelos pré-treinados

• Baixe os pesos de pré-treinamento em UDUN-master/pre .

Modelo	Pesos pré-treinamento UDUN	$F_omega$ $uparrow$	MAE $downarrow$	HCE $downarrow$
ResNet-18	UDUN-R18	0,807	0,065	1009
ResNet-34	UDUN-R34	0,818	0,060	999
ResNet-50	UDUN-R50	0,831	0,057	977

Baixe os pesos do modelo otimizado e armazene-os em UDUN-master/model.

Resultados de visualização ⚡

Os resultados visuais do nosso UDUN com ResNet-50 treinado em DIS-TE geral .

• Resultados no conjunto geral de testes DIS-TE: Quark/Google

Os resultados visuais de outros SOTAs no DIS-TE geral .

• Resultados no conjunto geral de testes DIS-TE: Quark/Google

Uso

Treinar e testar

• Para treinar nosso UDUN em GPU única seguindo o comando, os modelos treinados serão salvos na pasta savePath. Você pode modificar o caminho de dados se quiser executar seus próprios dados.

./train.sh

• Para testar nosso UDUN no DIS5K, os mapas de previsão serão salvos na pasta DIS5K_Pre.

python3 test.py 

Avaliação

• Para avaliar os resultados previstos.

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

Obtenha o mapa de tronco e o mapa de estrutura

• Divida a verdade básica em mapa de tronco e mapa de estrutura, que será salvo em DIS5K-TR/gt/Trunk-origin e DIS5K-TR/gt/struct-origin.

 cd utils
python3 utils.py

Reconhecimento

Este trabalho é baseado em:

• LDF

Obrigado pelo excelente trabalho!

Citação

Se isso ajudar você, cite este trabalho:

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}