تنفيذ PyTorch لورقتنا:
الارتباط والإثارة: مطابقة الاستريو في الوقت الفعلي عبر الإثارة الموجهة لحجم التكلفة
المؤلفون: أنتيانتا بانجونهاركانا 1 ، جاي وون تشو 2 ، سيوكجو لي 2 ، إن سو كوون 2 ، كيونغ سو كيم 1 ، سوهيون كيم 1
1 مختبر MSC، 2 مختبر RVC، المعهد الكوري المتقدم للعلوم والتكنولوجيا (KAIST)
المؤتمر الدولي IEEE/RSJ حول الروبوتات والأنظمة الذكية (IROS)، 2021
[صفحة المشروع] | [ورق]
نقترح إثارة حجم التكلفة الموجهة (GCE) وانحدار تباين argmax الناعم من أعلى k للحصول على مطابقة استريو دقيقة وفي الوقت الفعلي.
نوصي باستخدام conda للتثبيت:
conda env create -f environment.yml
conda activate coexيمكن تنزيل أوزان SceneFlow المدربة مسبقًا عبر الرابط التالي:
يحقق نموذجنا خطأ SceneFlow EPE (نقطة النهاية) الجديد بقيمة 0.596، وهو ما يحسّن مستوى EPE السابق البالغ 0.69 المذكور في الورقة الأصلية.
للحصول على عرض توضيحي للتعليمات البرمجية الخاصة بنا في مجموعة بيانات KITTI، قم بتنزيل "[البيانات المتزامنة+المصححة]" من بيانات KITTI الأولية. قم بفك ضغط المجلدات المستخرجة ووضعها بعد شجرة الدليل أدناه.
مجموعة بيانات تدفق المشهد
قم بتنزيل بيانات Finalpass لمجموعة بيانات Sceneflow بالإضافة إلى بيانات التباين .
كيتي 2015
قم بتنزيل مجموعة بيانات kitti15، وقم بفك ضغط data_scene_flow.zip، وأعد تسميتها باسم kitti15، وانقلها إلى دليل SceneFlow كما هو موضح في الشجرة أدناه.
كيتي 2012
قم بتنزيل مجموعة بيانات kitti12. قم بفك ضغط data_stereo_flow.zip، وأعد تسميته باسم kitti12، وانقله إلى دليل SceneFlow كما هو موضح في الشجرة أدناه.
تأكد من تطابق أسماء الدليل مع الشجرة أدناه حتى يتمكن القائمون على تحميل البيانات من تحديد موقع الملفات.
في الإعداد لدينا، يتم تنظيم مجموعة البيانات على النحو التالي
../../data
└── datasets
├── KITTI_raw
| ├── 2011_09_26
| │ ├── 2011_09_26_drive_0001_sync
| │ ├── 2011_09_26_drive_0002_sync
| | :
| |
| ├── 2011_09_28
| │ ├── 2011_09_28_drive_0001_sync
| │ └── 2011_09_28_drive_0002_sync
| | :
| | :
|
└── SceneFlow
├── driving
│ ├── disparity
│ └── frames_finalpass
├── flyingthings3d_final
│ ├── disparity
│ └── frames_finalpass
├── monkaa
│ ├── disparity
│ └── frames_finalpass
├── kitti12
│ ├── testing
│ └── training
└── kitti15
├── testing
└── training
تم بالفعل تضمين نموذج KITTI المُدرب مسبقًا في "./logs". يجري
python demo.pyلإجراء مطابقة استريو على تسلسل كيتي الخام. فيما يلي نتيجة نموذجية لنظامنا باستخدام RTX 2080Ti على Ubuntu 18.04.
لمزيد من النتائج التجريبية، راجع صفحة المشروع لدينا
لإعادة تدريب النموذج، قم بتكوين "./configs/stereo/cfg_yaml"، على سبيل المثال، Batch_size، والمسارات، ورقم الجهاز، والدقة، وما إلى ذلك. ثم قم بتشغيل
python stereo.pyإذا وجدت عملنا مفيدًا في بحثك، فيرجى التفكير في الاستشهاد بورقتنا البحثية
@inproceedings{bangunharcana2021correlate,
title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
pages={3542--3548},
year={2021},
organization={IEEE}
}
جزء من الكود مقتبس من الأعمال السابقة: PSMNet، AANet، GANet، SpixelFCN
