การใช้ PyTorch ในเอกสารของเรา:
สัมพันธ์กันและน่าตื่นเต้น: การจับคู่สเตอริโอแบบเรียลไทม์ผ่านการกระตุ้นปริมาณต้นทุนที่แนะนำ
ผู้แต่ง: Antyanta Bangunharcana 1 , Jae Won Cho 2 , Seokju Lee 2 , In So Kweon 2 , Kyung-Soo Kim 1 , Soohyun Kim 1
1 MSC Lab, 2 RVC Lab, สถาบันวิทยาศาสตร์และเทคโนโลยีขั้นสูงของเกาหลี (KAIST)
การประชุมนานาชาติ IEEE/RSJ เรื่องหุ่นยนต์และระบบอัจฉริยะ (IROS) ปี 2021
[หน้าโครงการ] | [กระดาษ]
เราขอเสนอ Guided Cost Volume Excitation (GCE) และการถดถอยความแตกต่าง soft-argmax top-k สำหรับการจับคู่สเตอริโอแบบเรียลไทม์และแม่นยำ
เราแนะนำให้ใช้ conda ในการติดตั้ง:
conda env create -f environment.yml
conda activate coexสามารถดาวน์โหลดตุ้มน้ำหนัก SceneFlow ที่ได้รับการฝึกล่วงหน้าของเราได้จากลิงก์ต่อไปนี้:
แบบจำลองของเราได้รับ SceneFlow EPE (End-Point-Error) ใหม่ที่ 0.596 ซึ่งปรับปรุงจาก EPE ก่อนหน้านี้ที่ 0.69 ที่รายงานในรายงานต้นฉบับ
สำหรับการสาธิตโค้ดของเราในชุดข้อมูล KITTI ให้ดาวน์โหลด "[ข้อมูลซิงค์+แก้ไข]" จากข้อมูลดิบของ KITTI คลายซิปและวางโฟลเดอร์ที่แยกออกมาตามแผนผังไดเร็กทอรีด้านล่าง
ชุดข้อมูล Sceneflow
ดาวน์โหลดข้อมูล Finalpass ของชุดข้อมูล Sceneflow รวมถึงข้อมูล Disparity
กิตติ 2558
ดาวน์โหลดชุดข้อมูล kitti15 และแตกไฟล์ data_scene_flow.zip เปลี่ยนชื่อเป็น kitti15 และย้ายไปยังไดเร็กทอรี SceneFlow ดังแสดงในแผนผังด้านล่าง
กิตติ 2555
ดาวน์โหลดชุดข้อมูล kitti12 คลายซิป data_stereo_flow.zip เปลี่ยนชื่อเป็น kitti12 และย้ายไปยังไดเร็กทอรี SceneFlow ดังแสดงในแผนผังด้านล่าง
ตรวจสอบให้แน่ใจว่าชื่อไดเร็กทอรีตรงกับแผนผังด้านล่างเพื่อให้ตัวโหลดข้อมูลสามารถค้นหาไฟล์ได้
ในการตั้งค่าของเรา ชุดข้อมูลจะถูกจัดระเบียบดังนี้
../../data
└── datasets
├── KITTI_raw
| ├── 2011_09_26
| │ ├── 2011_09_26_drive_0001_sync
| │ ├── 2011_09_26_drive_0002_sync
| | :
| |
| ├── 2011_09_28
| │ ├── 2011_09_28_drive_0001_sync
| │ └── 2011_09_28_drive_0002_sync
| | :
| | :
|
└── SceneFlow
├── driving
│ ├── disparity
│ └── frames_finalpass
├── flyingthings3d_final
│ ├── disparity
│ └── frames_finalpass
├── monkaa
│ ├── disparity
│ └── frames_finalpass
├── kitti12
│ ├── testing
│ └── training
└── kitti15
├── testing
└── training
โมเดล KITTI ที่ผ่านการฝึกอบรมรวมอยู่ใน './logs' แล้ว วิ่ง
python demo.pyเพื่อทำการจับคู่สเตอริโอกับลำดับกิตติแบบดิบ นี่คือตัวอย่างผลลัพธ์ในระบบของเราที่มี RTX 2080Ti บน Ubuntu 18.04
หากต้องการผลการสาธิตเพิ่มเติม โปรดดูที่หน้าโครงการของเรา
หากต้องการฝึกโมเดลใหม่ ให้กำหนดค่า './configs/stereo/cfg_yaml' เช่น ขนาดแบตช์ เส้นทาง หมายเลขอุปกรณ์ ความแม่นยำ ฯลฯ จากนั้นจึงเรียกใช้
python stereo.pyหากคุณพบว่างานของเรามีประโยชน์ในการวิจัยของคุณ โปรดพิจารณาอ้างอิงรายงานของเรา
@inproceedings{bangunharcana2021correlate,
title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
pages={3542--3548},
year={2021},
organization={IEEE}
}
ส่วนหนึ่งของรหัสถูกนำมาใช้จากงานก่อนหน้านี้: PSMNet, AANet, GANet, SpixelFCN
