EfficientLoFTR

LoFTR الفعال: مطابقة الميزات المحلية شبه الكثيفة مع السرعة المتناثرة

صفحة المشروع | ورق

LoFTR الفعال: مطابقة الميزات المحلية شبه الكثيفة مع السرعة المتناثرة
ييفان وانغ ^* ، شينغي هي ^* ، سيدا بينغ، دونغلي تان، شياوي زو
سي في بي آر 2024

realtime_demo.mp4

قائمة المهام

• كود الاستدلال والنماذج المدربة مسبقًا
• رمز لإعادة إنتاج نتائج مجموعة الاختبار
• أضف خيارات Flash-attention وtorch.compiler للحصول على أداء أفضل
• عرض دفتر jupyter لمطابقة زوج من الصور
• كود التدريب

تثبيت

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

يمكن تنزيل الاختبار والتدريب عن طريق رابط التنزيل المقدم من LoFTR

نحن نقدم نموذجنا المُدرب مسبقًا في رابط التنزيل

قم بإعادة إنتاج نتائج الاختبار باستخدام شعلة البرق

تحتاج إلى إعداد مجموعات الاختبار الفرعية لـ ScanNet وMegaDepth أولاً. نقوم بإنشاء روابط رمزية من مجموعات البيانات التي تم تنزيلها مسبقًا إلى data/{{dataset}}/test .

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

وقت الاستدلال

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

دقة

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

تمرين

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

الاقتباس

إذا وجدت هذا الرمز مفيدًا لبحثك، فيرجى استخدام إدخال BibTeX التالي.

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}