EfficientLoFTR

高效率的 LoFTR：具有稀疏速度的半密集局部特徵匹配

項目頁面|紙

高效率的 LoFTR：具有稀疏速度的半密集局部特徵匹配
王一凡^* 、何興一^* 、彭斯達、譚東麗、周小偉
CVPR 2024

即時演示.mp4

待辦事項列表

• 推理程式碼和預訓練模型
• 用於重現測試集結果的程式碼
• 添加 flash-attention 和 torch.compiler 選項以獲得更好的性能
• 用於匹配一對圖像的 jupyter Notebook 演示
• 訓練程式碼

安裝

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

測試和訓練可以透過LoFTR提供的下載連結下載

我們在下載連結中提供了我們的預訓練模型

使用 pytorch-lightning 重現測試結果

您需要先設定 ScanNet 和 MegaDepth 的測試子集。我們建立從先前下載的資料集到data/{{dataset}}/test符號連結。

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

推理時間

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

準確性

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

訓練

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

引文

如果您發現此程式碼對您的研究有用，請使用以下 BibTeX 條目。

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}