EfficientLoFTR

LoFTR eficiente: coincidencia de características locales semidensas con velocidad escasa

Página del proyecto | Papel

LoFTR eficiente: coincidencia de características locales semidensas con velocidad escasa
Yifan Wang ^* , Xingyi He ^* , Sida Peng, Dongli Tan, Xiaowei Zhou
CVPR 2024

demostración_en tiempo real.mp4

Lista de tareas pendientes

• Código de inferencia y modelos previamente entrenados.
• Código para reproducir los resultados del conjunto de pruebas.
• Agregue opciones de flash-attention y torch.compiler para un mejor rendimiento
• Demostración del cuaderno Jupyter para hacer coincidir un par de imágenes
• código de entrenamiento

Instalación

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

La prueba y la capacitación se pueden descargar mediante el enlace de descarga proporcionado por LoFTR.

Proporcionamos nuestro modelo previamente entrenado en el enlace de descarga.

Reproduzca los resultados de las pruebas con pytorch-lightning

Primero debe configurar los subconjuntos de prueba de ScanNet y MegaDepth. Creamos enlaces simbólicos desde los conjuntos de datos descargados previamente a data/{{dataset}}/test .

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

tiempo de inferencia

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

Exactitud

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

Capacitación

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

Citación

Si encuentra este código útil para su investigación, utilice la siguiente entrada BibTeX.

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}