coex 다운로드 - coex 소스코드 다운로드

coex

기타 소스코드

다운로드

코엑스

우리 논문의 PyTorch 구현:

상관관계 및 자극: 유도 비용 볼륨 자극을 통한 실시간 스테레오 매칭
저자: 안티얀타 반군하르카나 ¹ , 조재원 ² , 이석주 ² , 권인소 ² , 김경수 ¹ , 김수현 ¹
¹ MSC 연구실, ² RVC 연구실, 한국과학기술원(KAIST)
지능형 로봇 및 시스템(IROS)에 관한 IEEE/RSJ 국제 컨퍼런스, 2021

[프로젝트 페이지] | [종이]

실시간 및 정확한 스테레오 매칭을 위해 GCE(Guided Cost Volume Excitation) 및 top-k Soft-argmax 불일치 회귀를 제안합니다.

내용물

설치
데이터 세트
- 데모용 데이터
- 모델을 다시 훈련시키려는 경우
- 데이터 디렉토리
KITTI 원시 데이터 데모
- 모형동물원
모델 재훈련

설치

설치에는 conda를 사용하는 것이 좋습니다.

conda env create -f environment.yml
conda activate coex

업데이트: SceneFlow 모델

모델 가중치

사전 훈련된 SceneFlow 가중치는 다음 링크를 통해 다운로드할 수 있습니다.

[ SceneFlow 사전 훈련된 가중치 다운로드 ]

성능

우리 모델은 원본 논문에 보고된 이전 EPE 0.69보다 개선된 0.596의 새로운 SceneFlow EPE(End-Point-Error)를 달성합니다.

교육 세부정보

모델은 총 20개의 에포크 동안 재교육되었습니다. 처음 15개의 에포크는 학습률 0.001로 교육되었습니다. 지난 5번의 에포크는 학습률 0.0001로 훈련되었습니다.
우리는 훈련 과정에서 SWA(Stochastic Weight Averaging) 기술을 활성화하지 않기로 결정했습니다.
배치 크기: 8
정밀도: fp16

데이터 세트

데모용 데이터

KITTI 데이터세트에 대한 코드 데모를 보려면 원시 KITTI 데이터에서 "[동기화+수정된 데이터]"를 다운로드하세요. 압축을 풀고 아래 디렉터리 트리에 따라 추출된 폴더를 배치합니다.

모델을 다시 훈련시키려는 경우

Sceneflow 데이터 세트
Sceneflow 데이터 세트의 finalpass 데이터와 Disparity 데이터를 다운로드합니다.

키티 2015
kitti15 데이터 세트를 다운로드하고 data_scene_flow.zip의 압축을 풀고 이름을 kitti15로 변경한 후 아래 트리와 같이 SceneFlow 디렉터리로 이동합니다.

키티 2012
kitti12 데이터세트를 다운로드하세요. data_stereo_flow.zip의 압축을 풀고, 이름을 kitti12로 바꾸고, 아래 트리와 같이 SceneFlow 디렉터리로 이동합니다.

데이터로더가 파일을 찾을 수 있도록 디렉터리 이름이 아래 트리와 일치하는지 확인하십시오.

데이터 디렉토리

우리 설정에서 데이터 세트는 다음과 같이 구성됩니다.

 ../../data
└── datasets
    ├── KITTI_raw
    |   ├── 2011_09_26
    |   │   ├── 2011_09_26_drive_0001_sync
    |   │   ├── 2011_09_26_drive_0002_sync
    |   |       :
    |   |
    |   ├── 2011_09_28
    |   │   ├── 2011_09_28_drive_0001_sync
    |   │   └── 2011_09_28_drive_0002_sync
    |   |       :
    |   |   :    
    |
    └── SceneFlow
        ├── driving
        │   ├── disparity
        │   └── frames_finalpass
        ├── flyingthings3d_final
        │   ├── disparity
        │   └── frames_finalpass
        ├── monkaa
        │   ├── disparity
        │   └── frames_finalpass
        ├── kitti12
        │   ├── testing
        │   └── training
        └── kitti15
            ├── testing
            └── training

KITTI 원시 데이터 데모

사전 훈련된 KITTI 모델은 이미 './logs'에 포함되어 있습니다. 달리다

python demo.py

원시 키티 시퀀스에서 스테레오 매칭을 수행합니다. 다음은 Ubuntu 18.04에서 RTX 2080Ti를 사용하는 시스템의 결과 예입니다.

더 많은 데모 결과를 보려면 프로젝트 페이지를 확인하세요.

모델 재훈련

모델을 재교육하려면 './configs/stereo/cfg_yaml'(예: 배치_크기, 경로, 장치 번호, 정밀도 등)을 구성한 다음 실행하세요.

python stereo.py

소환

귀하의 연구에 우리의 연구가 유용하다고 생각하시면, 우리 논문을 인용하는 것을 고려해 보십시오.

 @inproceedings{bangunharcana2021correlate,
  title={Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation},
  author={Bangunharcana, Antyanta and Cho, Jae Won and Lee, Seokju and Kweon, In So and Kim, Kyung-Soo and Kim, Soohyun},
  booktitle={2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  pages={3542--3548},
  year={2021},
  organization={IEEE}
}