會展中心

我們論文的 PyTorch 實作：

關聯與激勵：透過引導成本體積激勵進行即時立體匹配
作者：Antyanta Bangunharcana ¹ 、Jae Won Cho ² 、Seokju Lee ² 、In So Kweon ² 、Kyung-Soo Kim ¹ 、Soohyun Kim ¹
¹ MSC 實驗室、 ² RVC 實驗室、韓國科學技術院 (KAIST)
IEEE/RSJ 智慧機器人與系統國際會議 (IROS)，2021

[專案頁面] | [紙]

我們提出了引導成本體積激勵（GCE）和 top-k soft-argmax 視差回歸，以實現即時且準確的立體匹配。

內容

安裝
數據集
- 示範數據
- 如果你想重新訓練模型
- 數據目錄
KITTI 原始資料演示
- 模型動物園
重新訓練模型

安裝

我們建議使用 conda 來安裝：

conda env create -f environment.yml
conda activate coex

更新：SceneFlow 模型

型號重量

我們預先訓練的 SceneFlow 權重可以透過以下連結下載：

[下載 SceneFlow 預訓練權重]

表現

我們的模型實現了新的 SceneFlow EPE（端點誤差）0.596，比原始論文中報告的先前的 EPE 0.69 有所改進。

培訓詳情

此模型總共重新訓練了 20 個 epoch：前 15 個 epoch 的學習率為 0.001。最後 5 個 epoch 的學習率為 0.0001
我們選擇在訓練過程中不啟動隨機權重平均（SWA）技術。
批量大小：8
精度：fp16

數據集

示範數據

若要在 KITTI 資料集上示範我們的程式碼，請從原始 KITTI 資料下載「[同步+校正資料]」。解壓縮並將解壓縮的資料夾放置在下面的目錄樹中。

如果你想重新訓練模型

場景流資料集
下載 Sceneflow 資料集的最終通道資料以及視差資料。

基蒂2015
下載kitti15資料集，解壓縮data_scene_flow.zip，重新命名為kitti15，並將其移至SceneFlow目錄中，如下圖所示。

基蒂2012
下載 kitti12 資料集。解壓縮 data_stereo_flow.zip，將其重新命名為 kitti12，然後將其移至 SceneFlow 目錄，如下圖所示。

確保目錄名稱與下面的樹匹配，以便資料載入器可以找到檔案。

數據目錄

在我們的設定中，資料集的組織方式如下

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

KITTI 原始資料演示

預先訓練的 KITTI 模型已包含在「./logs」中。跑步

python demo.py

對原始 kitti 序列執行立體匹配。以下是我們在 Ubuntu 18.04 上使用 RTX 2080Ti 的系統上的範例結果。

有關更多演示結果，請查看我們的專案頁面

重新訓練模型

若要重新訓練模型，請設定“./configs/stereo/cfg_yaml”，例如batch_size、路徑、裝置編號、精確度等。

python stereo.py

引文

如果您發現我們的工作對您的研究有用，請考慮引用我們的論文

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}