UDUN

อูดัน [ACM-MM'23]

การดำเนินการอย่างเป็นทางการของรายงาน ACM-MM 2023 "Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accurity Dichotomous Image Segmentation"

เจียหลุน เป่ย, จางจุน โจว, เยว่หมิง จิน, เหอถัง ✉ และเผิงแอนเฮง

[กระดาษ]; [เวอร์ชันอย่างเป็นทางการ]

ติดต่อ: [email protected], [email protected]

การเตรียมสิ่งแวดล้อม

ความต้องการ

• ลินุกซ์ที่มีหลาม ≥ 3.8
• Pytorch ≥ 1.7 และ torchvison ที่ตรงกับการติดตั้ง Pytorch
• Opencv
• นัมปี้
• เอเพ็กซ์

การเตรียมชุดข้อมูล

ดาวน์โหลดชุดข้อมูลและไฟล์คำอธิบายประกอบ

• DIS5K

ลงทะเบียนชุดข้อมูล

1. ดาวน์โหลดชุดข้อมูลและวางไว้ในโฟลเดอร์เดียวกัน เพื่อให้ตรงกับชื่อโฟลเดอร์ในตัวแมปชุดข้อมูล คุณไม่ควรเปลี่ยนชื่อโฟลเดอร์ เนื่องจากโครงสร้างของมันอาจเป็น:

    DATASET_ROOT/
    ├── DIS5K
       ├── DIS-TR
          ├── im
          ├── gt
          ├── trunk-origin
          ├── struct-origin
       ├── DIS-VD
          ├── im
          ├── gt
       ├── DIS-TE1
          ├── im
          ├── gt
       ├── DIS-TE2
          ├── im
          ├── gt
       ├── DIS-TE3
          ├── im
          ├── gt
       ├── DIS-TE4
          ├── im
          ├── gt

โมเดลที่ได้รับการฝึกอบรมล่วงหน้า

• ดาวน์โหลดตุ้มน้ำหนักก่อนการฝึกลงใน UDUN-master/pre

แบบอย่าง	UDUN ฝึกตุ้มน้ำหนักล่วงหน้า	$F_โอเมก้า$ $ลูกศรขึ้น$	แม่ $ลูกศรลง$	สสจ $ลูกศรลง$
เรสเน็ต-18	อูดัน-R18	0.807	0.065	1009
เรสเน็ต-34	อูดัน-R34	0.818	0.060	999
เรสเน็ต-50	อูดัน-R50	0.831	0.057	977

ดาวน์โหลดตุ้มน้ำหนักโมเดลที่ได้รับการปรับปรุงแล้วจัดเก็บไว้ใน UDUN-master/model

ผลลัพธ์การมองเห็น ⚡

ผลลัพธ์ด้านการมองเห็นของ UDUN พร้อม ResNet-50 ของเรา ที่ได้รับการฝึกอบรมเกี่ยวกับ Overall DIS-TE

• ผลลัพธ์ของชุดทดสอบโดยรวม DIS-TE: Quark/ Google

ผลการมองเห็นของ SOTA อื่นๆ บน DIS-TE โดยรวม

• ผลลัพธ์ของชุดทดสอบโดยรวม DIS-TE: Quark/ Google

การใช้งาน

ฝึกอบรมและทดสอบ

• หากต้องการฝึก UDUN ของเราบน GPU ตัวเดียวโดยทำตามคำสั่ง โมเดลที่ได้รับการฝึกจะถูกบันทึกไว้ในโฟลเดอร์ savePath คุณสามารถแก้ไข datapath ได้หากต้องการเรียกใช้ datases ของคุณเอง

./train.sh

• เพื่อทดสอบ UDUN ของเราบน DIS5K แผนที่การคาดการณ์จะถูกบันทึกในโฟลเดอร์ DIS5K_Pre

python3 test.py 

การประเมิน

• เพื่อประเมินผลลัพธ์ที่คาดการณ์ไว้

 cd metrics
python3 test_metrics.py 
python3 hce_metric_main.py

รับแผนที่ลำต้นและแผนที่โครงสร้าง

• แยกความจริงภาคพื้นดินออกเป็นแผนที่ Trunk และแผนที่โครงสร้าง ซึ่งจะถูกบันทึกลงใน DIS5K-TR/gt/Trunk-origin และ DIS5K-TR/gt/struct-origin

 cd utils
python3 utils.py

รับทราบ

งานนี้ขึ้นอยู่กับ:

• แอลดีเอฟ

ขอบคุณสำหรับการทำงานที่ยอดเยี่ยมของพวกเขา!

การอ้างอิง

หากสิ่งนี้ช่วยคุณได้ โปรดอ้างอิงงานนี้:

 @inproceedings{pei2023unite,
  title={Unite-Divide-Unite: Joint Boosting Trunk and Structure for High-accuracy Dichotomous Image Segmentation},
  author={Pei, Jialun and Zhou, Zhangjun and Jin, Yueming and Tang, He and Pheng-Ann, Heng},
  booktitle={Proceedings of the 31st ACM International Conference on Multimedia},
  pages={2139--2147},
  year={2023},
}