会展中心

我们论文的 PyTorch 实现：

关联和激励：通过引导成本体积激励进行实时立体匹配
作者：Antyanta Bangunharcana ¹ 、Jae Won Cho ² 、Seokju Lee ² 、In So Kweon ² 、Kyung-Soo Kim ¹ 、Soohyun Kim ¹
¹ MSC 实验室、 ² RVC 实验室、韩国科学技术院 (KAIST)
IEEE/RSJ 智能机器人与系统国际会议 (IROS)，2021

[项目页面] | [纸]

我们提出了引导成本体积激励（GCE）和 top-k soft-argmax 视差回归，以实现实时和准确的立体匹配。

内容

安装
数据集
- 演示数据
- 如果你想重新训练模型
- 数据目录
KITTI 原始数据演示
- 模型动物园
重新训练模型

安装

我们建议使用 conda 进行安装：

conda env create -f environment.yml
conda activate coex

更新：SceneFlow 模型

型号重量

我们预先训练的 SceneFlow 权重可以通过以下链接下载：

[下载 SceneFlow 预训练权重]

表现

我们的模型实现了新的 SceneFlow EPE（端点误差）0.596，比原始论文中报告的之前的 EPE 0.69 有所改进。

培训详情

该模型总共重新训练了 20 个 epoch：前 15 个 epoch 的学习率为 0.001。最后 5 个 epoch 的学习率为 0.0001
我们选择在训练过程中不激活随机权重平均（SWA）技术。
批量大小：8
精度：fp16

数据集

演示数据

要在 KITTI 数据集上演示我们的代码，请从原始 KITTI 数据下载“[同步+校正数据]”。解压缩并将解压的文件夹放置在下面的目录树中。

如果你想重新训练模型

场景流数据集
下载 Sceneflow 数据集的最终通道数据以及视差数据。

基蒂2015
下载kitti15数据集，解压data_scene_flow.zip，重命名为kitti15，并将其移动到SceneFlow目录中，如下图所示。

基蒂2012
下载 kitti12 数据集。解压 data_stereo_flow.zip，将其重命名为 kitti12，然后将其移至 SceneFlow 目录，如下图所示。

确保目录名称与下面的树匹配，以便数据加载器可以找到文件。

数据目录

在我们的设置中，数据集的组织方式如下

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

KITTI 原始数据演示

预训练的 KITTI 模型已包含在“./logs”中。跑步

python demo.py

对原始 kitti 序列执行立体匹配。以下是我们在 Ubuntu 18.04 上使用 RTX 2080Ti 的系统上的示例结果。

有关更多演示结果，请查看我们的项目页面

重新训练模型

要重新训练模型，请配置“./configs/stereo/cfg_yaml”，例如batch_size、路径、设备编号、精度等。然后运行

python stereo.py

引文

如果您发现我们的工作对您的研究有用，请考虑引用我们的论文

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}