coex

CoEx

Реализация нашей статьи на PyTorch:

Корреляция и возбуждение: стереосогласование в реальном времени с помощью управляемого затратного объемного возбуждения
Авторы: Антьанта Бангунхарчана ¹ , Чжэ Вон Чо ² , Ли Сокджу ² , Ин Со Квон ² , Ким Кён Су ¹ , Ким Сухён ^1
1 лаборатория MSC, ² лаборатория RVC, Корейский институт передовых наук и технологий (KAIST)
Международная конференция IEEE/RSJ по интеллектуальным роботам и системам (IROS), 2021 г.

[Страница проекта] | [Бумага]

Мы предлагаем управляемую стоимость объемного возбуждения (GCE) и регрессию несоответствия soft-argmax top-k для точного стереосопоставления в реальном времени.

Содержание

• Установка
• Наборы данных
  • Данные для демо
  • Если вы хотите переобучить модели
  • Каталоги данных
• Демонстрация необработанных данных KITTI
  • Модельный зоопарк
• Повторное обучение модели

Установка

Мы рекомендуем использовать conda для установки:

conda env create -f environment.yml
conda activate coex

Обновление: модель SceneFlow.

Вес модели

Наши предварительно обученные веса SceneFlow можно скачать по следующей ссылке:

• [ Загрузить предварительно обученные веса SceneFlow ]

Производительность

Наша модель достигает нового EPE SceneFlow (ошибка конечной точки) 0,596, что лучше предыдущего EPE 0,69, указанного в исходной статье.

Подробности обучения

• Модель была повторно обучена в общей сложности 20 эпох: первые 15 эпох были обучены со скоростью обучения 0,001. Последние 5 эпох были обучены со скоростью обучения 0,0001.
• Мы решили не активировать метод стохастического усреднения веса (SWA) во время тренировочного процесса.
• Размер партии: 8
• Точность: fp16

Наборы данных

Данные для демо

Для демонстрации нашего кода в наборе данных KITTI загрузите «[синхронизированные + исправленные данные]» из необработанных данных KITTI. Разархивируйте и поместите извлеченные папки в соответствии с деревом каталогов ниже.

Если вы хотите переобучить модели

Набор данных потока сцены
Загрузите данные FinalPass набора данных Sceneflow, а также данные Disparity .

КИТТИ 2015
Загрузите набор данных kitti15 и разархивируйте data_scene_flow.zip, переименуйте его в kitti15 и переместите в каталог SceneFlow, как показано в дереве ниже.

КИТТИ 2012
Загрузите набор данных kitti12. Разархивируйте data_stereo_flow.zip, переименуйте его в kitti12 и переместите в каталог SceneFlow, как показано в дереве ниже.

Убедитесь, что имена каталогов соответствуют дереву ниже, чтобы загрузчики данных могли найти файлы.

Каталоги данных

В нашей настройке набор данных организован следующим образом.

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

Демонстрация необработанных данных KITTI

Предварительно обученная модель KITTI уже включена в ./logs. Бегать

python demo.py

для выполнения стереосопоставления с необработанной последовательностью котенка. Вот пример результата для нашей системы с RTX 2080Ti в Ubuntu 18.04.

Дополнительные демонстрационные результаты можно найти на странице нашего проекта.

Повторное обучение модели

Чтобы повторно обучить модель, настройте «./configs/stereo/cfg_yaml», например, размер пакета, пути, номер устройства, точность и т. д. Затем запустите

python stereo.py

Цитирование

Если вы найдете нашу работу полезной для вашего исследования, пожалуйста, рассмотрите возможность цитирования нашей статьи.

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}

Благодарности

Часть кода заимствована из предыдущих работ: PSMNet, AANet, GANet, SpixelFCN.