UDUN

ウドゥン [ACM-MM'23]

ACM-MM 2023 論文「Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomoous Image Segmentation」の正式実装

Jialun Pei、Zhangjun Zhou、Yueming Jin、He Tang✉、Pheng-Ann Heng

[紙]; 【正式版】

連絡先: [email protected]、[email protected]

環境の準備

要件

• Python 3.8 以上を搭載した Linux
• Pytorch ≥ 1.7 および Pytorch インストールに一致する torchvison。
• OpenCV
• ナンピー
• 頂点

データセットの準備

データセットとアノテーション ファイルをダウンロードする

• DIS5K

データセットの登録

1. データセットをダウンロードし、同じフォルダーに置きます。データセット マッパーのフォルダー名と一致させるには、フォルダー名を変更しないことをお勧めします。フォルダーの構造は次のようになります。

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

事前トレーニングされたモデル

• 事前トレーニングの重みを UDUN-master/pre にダウンロードします。

モデル	UDUN 事前トレーニングの重み	$F_オメガ$ $上矢印$	前 $下矢印$	HCE $下矢印$
レスネット-18	UDUN-R18	0.807	0.065	1009
レスネット-34	UDUN-R34	0.818	0.060	999
レスネット-50	UDUN-R50	0.831	0.057	977

最適化されたモデルの重みをダウンロードし、UDUN-master/model に保存します。

可視化結果 ⚡

全体的な DIS-TEでトレーニングされた ResNet-50 を使用したUDUNの視覚的な結果。

• 全体的な DIS-TE テスト セットの結果: Quark/Google

全体的な DIS-TEに関する他の SOTAの視覚的な結果。

• 全体的な DIS-TE テスト セットの結果: Quark/Google

使用法

トレーニングとテスト

• 次のコマンドで単一の GPU で UDUN をトレーニングするには、トレーニングされたモデルが savePath フォルダーに保存されます。独自のデータセスを実行する場合は、データパスを変更できます。

./train.sh

• DIS5K で UDUN をテストするには、予測マップが DIS5K_Pre フォルダーに保存されます。

python3 test.py 

評価

• 予測結果を評価するため。

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

トランクマップと構造マップを取得する

• グラウンド トゥルースをトランク マップと構造体マップに分割し、DIS5K-TR/gt/Trunk-origin と DIS5K-TR/gt/struct-origin に保存します。

 cd utils
python3 utils.py

了承

この作品は以下に基づいています。

• LDF

彼らの素晴らしい仕事に感謝します!

引用

これが役に立った場合は、この作品を引用してください。

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}