Unduh coex - unduhan kode sumber coex

coex

Kode sumber lainnya

Unduh

CoEx

Implementasi PyTorch dari makalah kami:

Berkorelasi dan Menggembirakan: Pencocokan Stereo Waktu Nyata melalui Eksitasi Volume Biaya Terpandu
Penulis: Antyanta Bangunharcana ¹ , Jae Won Cho ² , Seokju Lee ² , In So Kweon ² , Kyung-Soo Kim ¹ , Soohyun Kim ¹
¹ Lab MSC, ² Lab RVC, Institut Sains dan Teknologi Lanjutan Korea (KAIST)
Konferensi Internasional IEEE/RSJ tentang Robot dan Sistem Cerdas (IROS), 2021

[Halaman proyek] | [Kertas]

Kami mengusulkan Eksitasi Volume Biaya Terpandu (GCE) dan regresi disparitas soft-argmax top-k untuk pencocokan stereo waktu nyata dan akurat.

Isi

Instalasi
Kumpulan data
- Data untuk demo
- Jika Anda ingin melatih kembali modelnya
- Direktori data
Demo data mentah KITTI
- Kebun binatang model
Melatih ulang model

Instalasi

Kami merekomendasikan penggunaan conda untuk instalasi:

conda env create -f environment.yml
conda activate coex

Pembaruan: model SceneFlow

Bobot Model

Bobot SceneFlow terlatih kami dapat diunduh melalui tautan berikut:

[ Unduh Bobot Terlatih SceneFlow ]

Pertunjukan

Model kami mencapai EPE SceneFlow (End-Point-Error) baru sebesar 0,596, lebih baik dari EPE sebelumnya sebesar 0,69 yang dilaporkan di makalah asli.

Detail Pelatihan

Model dilatih ulang selama total 20 periode: 15 periode pertama dilatih dengan kecepatan pembelajaran 0,001. 5 epoch terakhir dilatih dengan kecepatan pembelajaran 0,0001
Kami memilih untuk tidak mengaktifkan teknik Stochastic Weight Averaging (SWA) selama proses pelatihan.
Ukuran kumpulan: 8
Presisi: fp16

Kumpulan data

Data untuk demo

Untuk demo kode kami pada kumpulan data KITTI, unduh "[data yang disinkronkan+diperbaiki]" dari data mentah KITTI. Buka zip dan letakkan folder yang diekstrak mengikuti pohon direktori di bawah.

Jika Anda ingin melatih kembali modelnya

Kumpulan data alur pemandangan
Unduh data finalpass dari kumpulan data Sceneflow serta data Disparitas .

KITI 2015
Unduh kumpulan data kitti15, dan unzip data_scene_flow.zip, ganti namanya menjadi kitti15, dan pindahkan ke direktori SceneFlow seperti yang ditunjukkan pada pohon di bawah.

KITI 2012
Unduh kumpulan data kitti12. Buka zip data_stereo_flow.zip, ganti namanya menjadi kitti12, dan pindahkan ke direktori SceneFlow seperti yang ditunjukkan pada pohon di bawah.

Pastikan nama direktori cocok dengan pohon di bawah sehingga pemuat data dapat menemukan file.

Direktori data

Dalam pengaturan kami, kumpulan data disusun sebagai berikut

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

Demo data mentah KITTI

Model KITTI yang telah dilatih sebelumnya sudah disertakan dalam './logs'. Berlari

python demo.py

untuk melakukan pencocokan stereo pada urutan kitti mentah. Berikut adalah contoh hasil pada sistem kami dengan RTX 2080Ti di Ubuntu 18.04.

Untuk hasil demo lebih lanjut, lihat halaman Proyek kami

Melatih ulang model

Untuk melatih ulang model, konfigurasikan './configs/stereo/cfg_yaml', misalnya batch_size, path, nomor perangkat, presisi, dll. Kemudian jalankan

python stereo.py

Kutipan

Jika Anda merasa karya kami bermanfaat dalam penelitian Anda, mohon pertimbangkan untuk mengutip makalah kami

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}