coexダウンロード - coexソースコードのダウンロード

coex

その他のソースコード

ダウンロード

コエックス

私たちの論文の PyTorch 実装:

Correlate-and-Excite: ガイド付きコストボリューム励起によるリアルタイムステレオマッチング
著者: Antyanta Bangunharcana ¹ 、Jae Won Cho ² 、 Seokju Lee ² 、 In So Gwen ² 、 Kyung-Soo Kim ¹ 、 Soohyun Kim ¹
¹ MSC Lab、 ² RVC Lab、韓国科学技術院（KAIST）
IEEE/RSJ 知能ロボットおよびシステム国際会議 (IROS)、2021 年

[プロジェクトページ] | [紙]

リアルタイムで正確なステレオマッチングのために、ガイド付きコストボリューム励起 (GCE) と top-k ソフト引数最大視差回帰を提案します。

コンテンツ

インストール
データセット
- デモ用データ
- モデルを再トレーニングしたい場合
- データディレクトリ
KITTI生データのデモ
- 模型動物園
モデルの再トレーニング

インストール

インストールには conda を使用することをお勧めします。

conda env create -f environment.yml
conda activate coex

更新: SceneFlow モデル

モデルの重み

事前トレーニング済みの SceneFlow ウェイトは、次のリンクからダウンロードできます。

[ SceneFlow の事前トレーニング済みウェイトをダウンロードする]

パフォーマンス

私たちのモデルは、新しい SceneFlow EPE (エンドポイントエラー) 0.596 を達成し、元の論文で報告された以前の EPE 0.69 を改善しました。

トレーニングの詳細

モデルは合計 20 エポックで再トレーニングされました。最初の 15 エポックは 0.001 の学習率でトレーニングされました。最後の 5 エポックは 0.0001 の学習率でトレーニングされました
トレーニングプロセス中に確率的重み平均 (SWA) 手法をアクティブにしないことを選択しました。
バッチサイズ: 8
精度: fp16

データセット

デモ用データ

KITTI データセット上のコードのデモについては、生の KITTI データから「[synced+rectified data]」をダウンロードしてください。解凍して、抽出したフォルダーを以下のディレクトリツリーに従って配置します。

モデルを再トレーニングしたい場合

シーンフローデータセット
Sceneflow データセットのファイナルパスデータと視差データをダウンロードします。

キティ2015
kitti15 データセットをダウンロードし、data_scene_flow.zip を解凍して名前を kitti15 に変更し、以下のツリーに示すように SceneFlow ディレクトリに移動します。

キティ2012
kitti12 データセットをダウンロードします。 data_stereo_flow.zip を解凍し、名前を kitti12 に変更し、以下のツリーに示すように SceneFlow ディレクトリに移動します。

データローダーがファイルを見つけられるように、ディレクトリ名が以下のツリーと一致していることを確認してください。

データディレクトリ

私たちの設定では、データセットは次のように構成されています

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

KITTI生データのデモ

事前トレーニングされた KITTI モデルはすでに「./logs」に含まれています。走る

python demo.py

生の kitti シーケンスに対してステレオマッチングを実行します。以下は、Ubuntu 18.04 上の RTX 2080Ti を搭載したシステムでの結果の例です。

デモ結果の詳細については、プロジェクトページをご覧ください。

モデルの再トレーニング

モデルを再トレーニングするには、「./configs/stereo/cfg_yaml」(batch_size、paths、device num、precision など) を設定してから実行します。

python stereo.py

引用

私たちの研究があなたの研究に役立つと思われる場合は、私たちの論文を引用することを検討してください

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}