Descargar coex - Descarga del código fuente coex

coex

Otro código fuente

Descargar

CoEx

Implementación de PyTorch de nuestro artículo:

Correlación y excitación: coincidencia estéreo en tiempo real mediante excitación de volumen de costos guiada
Autores: Antyanta Bangunharcana ¹ , Jae Won Cho ² , Seokju Lee ² , In So Kweon ² , Kyung-Soo Kim ¹ , Soohyun Kim ¹
¹ laboratorio MSC, ² laboratorios RVC, Instituto Avanzado de Ciencia y Tecnología de Corea (KAIST)
Conferencia internacional IEEE/RSJ sobre robots y sistemas inteligentes (IROS), 2021

[Página del proyecto] | [Papel]

Proponemos una excitación de volumen de costo guiada (GCE) y una regresión de disparidad top-k soft-argmax para una coincidencia estéreo precisa y en tiempo real.

Contenido

Instalación
Conjuntos de datos
- Datos para demostración
- Si desea volver a entrenar los modelos
- Directorios de datos
Demostración sobre datos sin procesar de KITTI
- Zoológico modelo
Volver a entrenar el modelo

Instalación

Recomendamos utilizar conda para la instalación:

conda env create -f environment.yml
conda activate coex

Actualización: modelo SceneFlow

Pesos del modelo

Nuestros pesos de SceneFlow previamente entrenados se pueden descargar a través del siguiente enlace:

[ Descargar pesos previamente entrenados de SceneFlow ]

Actuación

Nuestro modelo logra un nuevo EPE (Error de punto final) de SceneFlow de 0,596, mejorando el EPE anterior de 0,69 informado en el artículo original.

Detalles del entrenamiento

El modelo se volvió a entrenar durante un total de 20 épocas: las primeras 15 épocas se entrenaron con una tasa de aprendizaje de 0,001. Las últimas 5 épocas fueron entrenadas con una tasa de aprendizaje de 0,0001.
Optamos por no activar la técnica de Promedio de Peso Estocástico (SWA) durante el proceso de entrenamiento.
Tamaño del lote: 8
Precisión: fp16

Conjuntos de datos

Datos para demostración

Para obtener una demostración de nuestro código en el conjunto de datos KITTI, descargue los "[datos sincronizados+rectificados]" de los datos KITTI sin procesar. Descomprima y coloque las carpetas extraídas siguiendo el árbol de directorios a continuación.

Si desea volver a entrenar los modelos

Conjunto de datos de flujo de escena
Descargue los datos del paso final del conjunto de datos de Sceneflow, así como los datos de Disparidad .

KITTI 2015
Descargue el conjunto de datos kitti15 y descomprima data_scene_flow.zip, cámbiele el nombre a kitti15 y muévalo al directorio SceneFlow como se muestra en el árbol a continuación.

KITTI 2012
Descargue el conjunto de datos kitti12. Descomprima data_stereo_flow.zip, cámbiele el nombre a kitti12 y muévalo al directorio SceneFlow como se muestra en el árbol siguiente.

Asegúrese de que los nombres de los directorios coincidan con el árbol siguiente para que los cargadores de datos puedan ubicar los archivos.

Directorios de datos

En nuestra configuración, el conjunto de datos está organizado de la siguiente manera

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

Demostración sobre datos sin procesar de KITTI

El modelo KITTI previamente entrenado ya está incluido en './logs'. Correr

python demo.py

para realizar una coincidencia estéreo en la secuencia raw kitti. Aquí hay un resultado de ejemplo en nuestro sistema con RTX 2080Ti en Ubuntu 18.04.

Para obtener más resultados de demostración, consulte nuestra página de Proyecto

Volver a entrenar el modelo

Para volver a entrenar el modelo, configure './configs/stereo/cfg_yaml', por ejemplo, tamaño de lote, rutas, número de dispositivo, precisión, etc. Luego ejecute

python stereo.py

Citación

Si encuentra nuestro trabajo útil en su investigación, considere citar nuestro artículo.

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}