UDUN

乌顿 [ACM-MM'23]

ACM-MM 2023论文《Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation》正式实现

裴家伦、周章军、金月明、唐鹤✉、恒鹏安

[纸]; [正式版]

联系方式： [email protected]、[email protected]

环境准备

要求

• Linux 与 python ≥ 3.8
• Pytorch ≥ 1.7 以及与 Pytorch 安装相匹配的 torchvison。
• OpenCV
• 麻木
• 顶点

数据集准备

下载数据集和注释文件

• DIS5K

注册数据集

1. 下载数据集并将它们放在同一文件夹中。为了匹配数据集映射器中的文件夹名称，最好不要更改文件夹名称，其结构可能是：

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

预训练模型

• 将预训练权重下载到 UDUN-master/pre 中。

模型	UDUN 预训练权重	$F_欧米伽$ $向上箭头$	MAE $向下箭头$	HCE $向下箭头$
ResNet-18	UDUN-R18	0.807	0.065	1009
ResNet-34	UDUN-R34	0.818	0.060	999
ResNet-50	UDUN-R50	0.831	0.057	第977章

下载优化后的模型权重并将其存储在 UDUN-master/model 中。

可视化结果⚡

我们的 UDUN与 ResNet-50 在整体 DIS-TE上训练的视觉结果。

• 整体 DIS-TE 测试集的结果：Quark/ Google

其他 SOTA在整体 DIS-TE上的视觉结果。

• 整体 DIS-TE 测试集的结果：Quark/ Google

用法

训练&测试

• 要通过以下命令在单个 GPU 上训练我们的 UDUN，训练后的模型将保存在 savePath 文件夹中。如果您想运行自己的数据，可以修改数据路径。

./train.sh

• 为了在 DIS5K 上测试我们的 UDUN，预测图将保存在 DIS5K_Pre 文件夹中。

python3 test.py 

评估

• 评估预测结果。

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

获取主干图和结构图

• 将groundtruth分割为trunk map和struct map，分别保存在DIS5K-TR/gt/Trunk-origin和DIS5K-TR/gt/struct-origin中。

 cd utils
python3 utils.py

致谢

这项工作基于：

• LDF

感谢他们的出色工作！

引文

如果这对您有帮助，请引用这篇文章：

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}