EfficientLoFTR

효율적인 LoFTR: 희박한 속도로 반밀도 로컬 특징 매칭

프로젝트 페이지 | 종이

효율적인 LoFTR: 희박한 속도로 반밀도 로컬 특징 매칭
Yifan Wang ^* , Xingyi He ^* , Sida Peng, Dongli Tan, Xiaowei Zhou
CVPR 2024

realtime_demo.mp4

할 일 목록

• 추론 코드 및 사전 학습된 모델
• 테스트 세트 결과를 재현하기 위한 코드
• 더 나은 성능을 위해 flash-attention 및 torch.compiler 옵션을 추가하세요.
• 한 쌍의 이미지를 일치시키는 jupyter Notebook 데모
• 학습 코드

설치

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

테스트 및 교육은 LoFTR에서 제공하는 다운로드 링크를 통해 다운로드할 수 있습니다.

다운로드 링크에서 사전 훈련된 모델을 제공합니다.

pytorch-lightning으로 테스트 결과 재현

먼저 ScanNet 및 MegaDepth의 테스트 하위 집합을 설정해야 합니다. 이전에 다운로드한 데이터세트에서 data/{{dataset}}/test 로의 심볼릭 링크를 만듭니다.

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

추론 시간

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

정확성

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

훈련

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

소환

이 코드가 연구에 유용하다고 생각되면 다음 BibTeX 항목을 사용하십시오.

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}