UDUN

烏頓 [ACM-MM'23]

ACM-MM 2023論文《Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation》正式實現

裴家倫、週章軍、金月明、唐鶴✉、恆鵬安

[紙]; [正式版]

聯絡方式： [email protected]、[email protected]

環境準備

要求

• Linux 與 python ≥ 3.8
• Pytorch ≥ 1.7 以及與 Pytorch 安裝相符的 torchvison。
• OpenCV
• 麻木
• 頂點

資料集準備

下載資料集和註釋文件

• DIS5K

註冊資料集

1. 下載資料集並將它們放在同一資料夾中。為了匹配資料集映射器中的資料夾名稱，最好不要更改資料夾名稱，其結構可能是：

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

預訓練模型

• 將預訓練權重下載到 UDUN-master/pre 中。

模型	UDUN 預訓練權重	$F_歐米伽$ $向上箭頭$	MAE $向下箭頭$	HCE $向下箭頭$
ResNet-18	UDUN-R18	0.807	0.065	1009
ResNet-34	UDUN-R34	0.818	0.060	999
ResNet-50	UDUN-R50	0.831	0.057	第977章

下載優化後的模型權重並儲存在 UDUN-master/model 中。

可視化結果⚡

我們的 UDUN與 ResNet-50 在整體 DIS-TE上訓練的視覺結果。

• 整體 DIS-TE 測試集的結果：Quark/ Google

其他 SOTA在整體 DIS-TE上的視覺結果。

• 整體 DIS-TE 測試集的結果：Quark/ Google

用法

訓練&測試

• 要透過以下命令在單一 GPU 上訓練我們的 UDUN，訓練後的模型將保存在 savePath 資料夾中。如果您想運行自己的數據，可以修改數據路徑。

./train.sh

• 為了在 DIS5K 上測試我們的 UDUN，預測圖將保存在 DIS5K_Pre 資料夾中。

python3 test.py 

評估

• 評估預測結果。

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

取得主幹圖和結構圖

• 將groundtruth分割為trunk map和struct map，分別保存在DIS5K-TR/gt/Trunk-origin和DIS5K-TR/gt/struct-origin中。

 cd utils
python3 utils.py

致謝

這項工作是基於：

• LDF

感謝他們的出色工作！

引文

如果這對您有幫助，請引用這篇文章：

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}