UDUN

УДУН [ACM-MM'23]

Официальная реализация документа ACM-MM 2023 «Объединить-разделить-объединить: совместное усиление ствола и структуры для высокоточной дихотомической сегментации изображений»

Цзялун Пей, Чжанцзюнь Чжоу, Юэмин Цзинь, Хэ Тан✉ и Фэн-Энн Хэн

[Бумага]; [Официальная версия]

Контакт: [email protected], [email protected]

Подготовка среды

Требования

• Linux с Python ≥ 3.8
• Pytorch ≥ 1.7 и torchvison, соответствующий установке Pytorch.
• Опенcв
• Нампи
• Апекс

Подготовка набора данных

Загрузите наборы данных и файлы аннотаций

• ДИС5К

Регистрация наборов данных

1. Загрузите наборы данных и поместите их в одну папку. Чтобы имя папки соответствовало имени папки в сопоставителях наборов данных, лучше не менять имена папок, ее структура может быть такой:

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

Предварительно обученные модели

• Загрузите предтренировочные веса в UDUN-master/pre .

Модель	Предварительные веса UDUN	$F_омега$ $uparrow$	МАЭ $downarrow$	HCE $downarrow$
РесНет-18	УДУН-Р18	0,807	0,065	1009
РесНет-34	УДУН-Р34	0,818	0,060	999
РесНет-50	УДУН-Р50	0,831	0,057	977

Загрузите оптимизированные веса модели и сохраните их в UDUN-master/model.

Результаты визуализации ⚡

Визуальные результаты нашего UDUN с ResNet-50, обученного на Total DIS-TE .

• Результаты общего набора тестов DIS-TE: Quark/Google

Визуальные результаты других SOTA на Total DIS-TE .

• Результаты общего набора тестов DIS-TE: Quark/Google

Использование

Обучение и тестирование

• Чтобы обучить наш UDUN на одном графическом процессоре с помощью следующей команды, обученные модели будут сохранены в папке savePath. Вы можете изменить путь к данным, если хотите запускать свои собственные базы данных.

./train.sh

• Чтобы протестировать наш UDUN на DIS5K, карты прогнозирования будут сохранены в папке DIS5K_Pre.

python3 test.py 

Оценка

• Оценить прогнозируемые результаты.

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

Получить карту ствола и карту структуры

• Разделите основную истину на карту магистрали и карту структуры, которая будет сохранена в DIS5K-TR/gt/Trunk-origin и DIS5K-TR/gt/struct-origin.

 cd utils
python3 utils.py

Благодарность

Эта работа основана на:

• ЛДФ

Спасибо за их прекрасную работу!

Цитирование

Если это вам поможет, пожалуйста, процитируйте эту работу:

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}