EfficientLoFTR

LoFTR ที่มีประสิทธิภาพ: คุณสมบัติท้องถิ่นแบบกึ่งหนาแน่นที่จับคู่กับความเร็วแบบเบาบาง

หน้าโครงการ | กระดาษ

LoFTR ที่มีประสิทธิภาพ: คุณสมบัติท้องถิ่นแบบกึ่งหนาแน่นที่จับคู่กับความเร็วแบบเบาบาง
อี้ฟาน หวาง ^* , ซิงอี้เหอ ^* , สีดา เผิง, ตงลี่ ตัน, เสี่ยวเว่ย โจว
ซีพีอาร์ 2024

realtime_demo.mp4

รายการสิ่งที่ต้องทำ

• รหัสการอนุมานและแบบจำลองที่ได้รับการฝึกล่วงหน้า
• รหัสสำหรับการสร้างผลลัพธ์ชุดทดสอบซ้ำ
• เพิ่มตัวเลือกของ flash-attention และ torch.compiler เพื่อประสิทธิภาพที่ดีขึ้น
• การสาธิตสมุดบันทึก jupyter สำหรับการจับคู่รูปภาพ
• รหัสการฝึกอบรม

การติดตั้ง

conda env create -f environment.yaml
conda activate eloftr
pip install torch==2.0.0+cu118 --index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt 

สามารถดาวน์โหลดการทดสอบและการฝึกอบรมได้จากลิงก์ดาวน์โหลดที่ LoFTR จัดให้

เราจัดเตรียมโมเดลที่ได้รับการฝึกอบรมไว้ในลิงก์ดาวน์โหลด

สร้างผลการทดสอบซ้ำด้วย pytorch-lightning

คุณต้องตั้งค่าชุดย่อยการทดสอบของ ScanNet และ MegaDepth ก่อน เราสร้าง symlink จากชุดข้อมูลที่ดาวน์โหลดก่อนหน้านี้ไปยัง data/{{dataset}}/test

 # set up symlinks
ln -s /path/to/scannet-1500-testset/ * /path/to/EfficientLoFTR/data/scannet/test
ln -s /path/to/megadepth-1500-testset/ * /path/to/EfficientLoFTR/data/megadepth/test

เวลาอนุมาน

conda activate eloftr
bash scripts/reproduce_test/indoor_full_time.sh
bash scripts/reproduce_test/indoor_opt_time.sh

ความแม่นยำ

conda activate eloftr
bash scripts/reproduce_test/outdoor_full_auc.sh
bash scripts/reproduce_test/outdoor_opt_auc.sh
bash scripts/reproduce_test/indoor_full_auc.sh
bash scripts/reproduce_test/indoor_opt_auc.sh

การฝึกอบรม

conda env create -f environment_training.yaml  # used a different version of pytorch, maybe slightly different from the inference environment
pip install -r requirements.txt
conda activate eloftr_training
bash scripts/reproduce_train/eloftr_outdoor.sh eloftr_outdoor

การอ้างอิง

หากคุณพบว่าโค้ดนี้มีประโยชน์สำหรับการวิจัยของคุณ โปรดใช้รายการ BibTeX ต่อไปนี้

 @inproceedings { wang2024eloftr ,
  title = { {Efficient LoFTR}: Semi-Dense Local Feature Matching with Sparse-Like Speed } ,
  author = { Wang, Yifan and He, Xingyi and Peng, Sida and Tan, Dongli and Zhou, Xiaowei } ,
  booktitle = { CVPR } ,
  year = { 2024 }
}