Download coex - download do código-fonte coex

coex

Outro código-fonte

Baixar

CoEx

Implementação PyTorch do nosso artigo:

Correlacionar e Excitar: Correspondência Estéreo em Tempo Real via Excitação de Volume de Custo Guiada
Autores: Antyanta Bangunharcana ¹ , Jae Won Cho ² , Seokju Lee ² , In So Kweon ² , Kyung-Soo Kim ¹ , Soohyun Kim ¹
¹ Laboratório MSC, ² Laboratório RVC, Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST)
Conferência Internacional IEEE/RSJ sobre Robôs e Sistemas Inteligentes (IROS), 2021

[Página do projeto] | [Papel]

Propomos uma excitação de volume de custo guiado (GCE) e uma regressão de disparidade soft-argmax top-k para correspondência estéreo precisa e em tempo real.

Conteúdo

Instalação
Conjuntos de dados
- Dados para demonstração
- Se você quiser treinar novamente os modelos
- Diretórios de dados
Demonstração de dados brutos KITTI
- Zoológico modelo
Treinar novamente o modelo

Instalação

Recomendamos usar conda para instalação:

conda env create -f environment.yml
conda activate coex

Atualização: modelo SceneFlow

Pesos do modelo

Nossos pesos SceneFlow pré-treinados podem ser baixados através do seguinte link:

[ Baixar pesos pré-treinados do SceneFlow ]

Desempenho

Nosso modelo atinge um novo SceneFlow EPE (End-Point-Error) de 0,596, melhorando o EPE anterior de 0,69 relatado no artigo original.

Detalhes do treinamento

O modelo foi treinado novamente para um total de 20 épocas: as primeiras 15 épocas foram treinadas com uma taxa de aprendizado de 0,001. As últimas 5 épocas foram treinadas com uma taxa de aprendizagem de 0,0001
Optamos por não ativar a técnica Stochastic Weight Averaging (SWA) durante o processo de treinamento.
Tamanho do lote: 8
Precisão: fp16

Conjuntos de dados

Dados para demonstração

Para uma demonstração de nosso código no conjunto de dados KITTI, baixe os "[dados sincronizados + retificados]" dos dados brutos do KITTI. Descompacte e coloque as pastas extraídas seguindo a árvore de diretórios abaixo.

Se você quiser treinar novamente os modelos

Conjunto de dados Sceneflow
Baixe os dados finais do conjunto de dados Sceneflow, bem como os dados de disparidade .

KITTI 2015
Baixe o conjunto de dados kitti15 e descompacte data_scene_flow.zip, renomeie-o como kitti15 e mova-o para o diretório SceneFlow conforme mostrado na árvore abaixo.

KITTI 2012
Baixe o conjunto de dados kitti12. Descompacte data_stereo_flow.zip, renomeie-o como kitti12 e mova-o para o diretório SceneFlow conforme mostrado na árvore abaixo.

Certifique-se de que os nomes dos diretórios correspondam à árvore abaixo para que os dataloaders possam localizar os arquivos.

Diretórios de dados

Em nossa configuração, o conjunto de dados é organizado da seguinte forma

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

Demonstração de dados brutos KITTI

O modelo KITTI pré-treinado já está incluído em './logs'. Correr

python demo.py

para realizar correspondência estéreo na sequência kitti bruta. Aqui está um exemplo de resultado em nosso sistema com RTX 2080Ti no Ubuntu 18.04.

Para mais resultados de demonstração, confira nossa página do projeto

Treinar novamente o modelo

Para treinar novamente o modelo, configure './configs/stereo/cfg_yaml', por exemplo, batch_size, caminhos, número do dispositivo, precisão, etc.

python stereo.py

Citação

Se você achar nosso trabalho útil em sua pesquisa, considere citar nosso artigo

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}