UDUN

우둔 [ACM-MM'23]

ACM-MM 2023 논문 "Unite-Divide-Unite: 고정밀 이분법 이미지 분할을 위한 조인트 부스팅 트렁크 및 구조" 공식 구현

Jialun Pei, Zhangjun Zhou, Yueming Jin, He Tang✉ 및 Pheng-Ann Heng

[종이]; [공식 버전]

연락처: [email protected], [email protected]

환경 준비

요구사항

• Python ≥ 3.8을 사용하는 Linux
• Pytorch ≥ 1.7 및 Pytorch 설치와 일치하는 torchvison.
• Opencv
• 넘피
• 꼭대기

데이터 세트 준비

데이터 세트 및 주석 파일 다운로드

• DIS5K

데이터 세트 등록

1. 데이터 세트를 다운로드하여 동일한 폴더에 넣습니다. 데이터세트 매퍼의 폴더 이름을 일치시키려면 폴더 이름을 변경하지 않는 것이 좋습니다. 해당 구조는 다음과 같습니다.

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

사전 훈련된 모델

• 사전 훈련 가중치를 UDUN-master/pre에 다운로드합니다.

모델	UDUN 사전 훈련 가중치	$F_오메가$ $위쪽 화살표$	매 $아래쪽화살$	HCE $아래쪽화살$
ResNet-18	우둔-R18	0.807	0.065	1009
ResNet-34	우둔-R34	0.818	0.060	999
ResNet-50	우둔-R50	0.831	0.057	977

최적화된 모델 가중치를 다운로드하여 UDUN-master/model에 저장합니다.

시각화 결과 ⚡

전체 DIS-TE 에 대해 훈련된 ResNet-50을 사용한 UDUN 의 시각적 결과.

• 전체 DIS-TE 테스트 세트 결과: Quark/Google

전체 DIS-TE 에 대한 다른 SOTA 의 시각적 결과.

• 전체 DIS-TE 테스트 세트 결과: Quark/Google

용법

훈련 및 테스트

• 다음 명령을 사용하여 단일 GPU에서 UDUN을 훈련하려면 훈련된 모델이 savePath 폴더에 저장됩니다. 자신만의 데이터를 실행하려면 데이터 경로를 수정할 수 있습니다.

./train.sh

• DIS5K에서 UDUN을 테스트하기 위해 예측 맵은 DIS5K_Pre 폴더에 저장됩니다.

python3 test.py 

평가

• 예측된 결과를 평가합니다.

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

트렁크 맵 및 구조체 맵 가져오기

• Ground Truth를 트렁크 맵과 구조체 맵으로 분할하여 DIS5K-TR/gt/Trunk-origin 및 DIS5K-TR/gt/struct-origin에 저장됩니다.

 cd utils
python3 utils.py

승인

이 작업은 다음을 기반으로 합니다.

• LDF

그들의 훌륭한 작업에 감사드립니다!

소환

도움이 되셨다면 다음 작품을 인용해 주세요.

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}