UDUN

أودون [ACM-MM'23]

التنفيذ الرسمي لورقة ACM-MM 2023 "اتحدوا - فرقوا - اتحدوا: جذع وهيكل التعزيز المشترك لتجزئة الصور الثنائية عالية الدقة"

جيالون بي، تشانغجون تشو، يويمينغ جين، هي تانغ✉، فنغ آن هينغ

[ورق]؛ [النسخة الرسمية]

جهة الاتصال: [email protected]، [email protected]

إعداد البيئة

متطلبات

• لينكس مع بايثون ≥ 3.8
• Pytorch ≥ 1.7 وtorchvison الذي يتوافق مع تثبيت Pytorch.
• Opencv
• نومبي
• قمة

إعداد مجموعة البيانات

قم بتنزيل مجموعات البيانات وملفات التعليقات التوضيحية

• DIS5K

تسجيل مجموعات البيانات

1. قم بتنزيل مجموعات البيانات ووضعها في نفس المجلد. لمطابقة اسم المجلد في مخططات مجموعة البيانات، من الأفضل عدم تغيير أسماء المجلدات، فقد تكون بنيتها:

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

النماذج المدربة مسبقا

• قم بتنزيل أوزان ما قبل التدريب في UDUN-master/pre .

نموذج	أوزان ما قبل التدريب UDUN	$F_أوميغا$ $uparrow$	ماي $السهم السفلي$	HCE $السهم السفلي$
ريسنيت-18	أودون-R18	0.807	0.065	1009
ريسنيت-34	أودون-R34	0.818	0.060	999
ريسنيت-50	أودون-R50	0.831	0.057	977

قم بتنزيل أوزان النموذج المُحسّنة وقم بتخزينها في UDUN-master/model.

نتائج التصور ⚡

تم تدريب النتائج المرئية لـ UDUN مع ResNet-50 على DIS-TE بشكل عام .

• النتائج على مجموعة اختبارات DIS-TE الشاملة: Quark/ Google

النتائج المرئية لـ SOTAs الأخرى على DIS-TE بشكل عام .

• النتائج على مجموعة اختبارات DIS-TE الشاملة: Quark/ Google

الاستخدام

تدريب واختبار

• لتدريب UDUN الخاص بنا على وحدة معالجة رسومات واحدة باتباع الأمر، سيتم حفظ النماذج المدربة في مجلد savePath. يمكنك تعديل مسار البيانات إذا كنت تريد تشغيل قواعد البيانات الخاصة بك.

./train.sh

• لاختبار UDUN الخاص بنا على DIS5K، سيتم حفظ خرائط التنبؤ في مجلد DIS5K_Pre.

python3 test.py 

تقييم

• لتقييم النتائج المتوقعة.

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

الحصول على خريطة الجذع وخريطة الهيكل

• قم بتقسيم الحقيقة الأرضية إلى خريطة الجذع وخريطة الهيكل، والتي سيتم حفظها في DIS5K-TR/gt/Trunk-origin وDIS5K-TR/gt/struct-origin.

 cd utils
python3 utils.py

شكر وتقدير

يعتمد هذا العمل على:

• إل دي إف

شكرا لعملهم العظيم!

الاقتباس

إذا كان هذا يفيدك، فيرجى ذكر هذا العمل:

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}