EfficientLoFTR

Эффективный LoFTR: полуплотное сопоставление локальных объектов с разреженной скоростью

Страница проекта | Бумага

Эффективный LoFTR: полуплотное сопоставление локальных объектов с разреженной скоростью
Ифань Ван ^* , Синъи Хэ ^* , Сида Пэн, Дунли Тан, Сяовэй Чжоу
ЦВПР 2024

realtime_demo.mp4

Список дел

• Код вывода и предварительно обученные модели
• Код для воспроизведения результатов набора тестов
• Добавьте опции flash-attention и torch.compiler для повышения производительности.
• Демонстрация блокнота Jupyter для сопоставления пары изображений
• Код обучения

Установка

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

Тест и обучение можно загрузить по ссылке для скачивания, предоставленной LoFTR.

Мы предоставляем нашу предварительно обученную модель по ссылке для скачивания.

Воспроизведите результаты тестирования с помощью pytorch-lightning.

Сначала вам необходимо настроить тестовые подмножества ScanNet и MegaDepth. Мы создаем символические ссылки из ранее загруженных наборов данных на data/{{dataset}}/test .

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

Время вывода

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

Точность

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

Обучение

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

Цитирование

Если этот код окажется полезным для вашего исследования, используйте следующую запись BibTeX.

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}