EfficientLoFTR

効率的な LoFTR: まばらな速度での半密な局所特徴マッチング

プロジェクトページ |紙

効率的な LoFTR: まばらな速度での半密な局所特徴マッチング
Yifan Wang ^* 、Xingyi He ^* 、Sida Peng、Dongli Tan、Xiaowei Zhou
CVPR 2024

realtime_demo.mp4

TODOリスト

• 推論コードと事前トレーニング済みモデル
• テストセットの結果を再現するコード
• パフォーマンスを向上させるために flash-attention と torch.compiler のオプションを追加します
• 画像のペアを照合するための jupyter Notebook のデモ
• トレーニングコード

インストール

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

テストとトレーニングは、LoFTR が提供するダウンロード リンクからダウンロードできます。

事前トレーニング済みモデルをダウンロード リンクで提供します

pytorch-lightning でテスト結果を再現する

最初に、ScanNet と MegaDepth のテスト用サブセットをセットアップする必要があります。以前にダウンロードしたデータセットからdata/{{dataset}}/testへのシンボリックリンクを作成します。

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

推論時間

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

正確さ

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

トレーニング

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

引用

このコードが研究に役立つと思われる場合は、次の BibTeX エントリを使用してください。

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}