EfficientLoFTR

LoFTR efficace : correspondance de caractéristiques locales semi-dense avec une vitesse clairsemée

Page du projet | Papier

LoFTR efficace : correspondance de caractéristiques locales semi-dense avec une vitesse clairsemée
Yifan Wang ^* , Xingyi He ^* , Sida Peng, Dongli Tan, Xiaowei Zhou
CVPR 2024

temps réel_demo.mp4

Liste À FAIRE

• Code d'inférence et modèles pré-entraînés
• Code pour reproduire les résultats de l'ensemble de tests
• Ajoutez des options de flash-attention et torch.compiler pour de meilleures performances
• Démo du notebook Jupyter pour faire correspondre une paire d'images
• Code de formation

Installation

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

Le test et la formation peuvent être téléchargés via le lien de téléchargement fourni par LoFTR

Nous fournissons notre modèle pré-entraîné dans le lien de téléchargement

Reproduire les résultats des tests avec pytorch-lightning

Vous devez d'abord configurer les sous-ensembles de test de ScanNet et MegaDepth. Nous créons des liens symboliques à partir des ensembles de données précédemment téléchargés vers data/{{dataset}}/test .

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

Temps d'inférence

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

Précision

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

Entraînement

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

Citation

Si vous trouvez ce code utile pour votre recherche, veuillez utiliser l'entrée BibTeX suivante.

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}