DSM

ความสามารถในการจับคู่สเตอริโอแบบลึก

สิ่งแวดล้อม

• หน่วยความจำ GPU >= 16G (การฝึกอบรม ขนาดแบตช์ 4 บน GPU เดี่ยว)

• หน่วยความจำ GPU >= 7G (การทดสอบ ขนาดแบทช์ 1 ภาพความละเอียดเต็มบน GPU เดี่ยว)

• CUDA >= 10.0

• หลาม >= 3.6

• ไพทอร์ช >= 1.0

• opencv-หลาม

การเตรียมข้อมูล

1. ดาวน์โหลดชุดข้อมูล Sceneflow จาก https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html โปรดดาวน์โหลดอิมเมจ RGB (cleanpass) และความไม่เท่าเทียมกันของสามเซ็ตย่อย จากนั้นแยกไฟล์ไปยังโฟลเดอร์ย่อยที่เกี่ยวข้อง เช่น สำหรับ Flyingthings3d ให้แยกภาพ RGB และความต่างออก แล้วคุณจะได้โฟลเดอร์สองโฟลเดอร์ชื่อ disparity และ frames_cleanpass <data_root>/flyingthings3d/ ใส่ไว้ใน

2. ดาวน์โหลด KITTI 2012 จาก http://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php?benchmark=stereo, KITTI 2015 จาก http://www.cvlibs.net/datasets/kitti/eval_scene_flow.php?benchmark=stereo . สำหรับแต่ละชุดข้อมูล ให้แตกไฟล์แล้วคุณจะได้สองโฟลเดอร์ชื่อการฝึกอบรมและการทดสอบ <data_root>/kitti/201x/unzip/ ใส่ไว้ใน

การฝึกอบรม

ขั้นแรกให้ฝึกโมเดลล่วงหน้าบน Sceneflow

$ python train.py 
  --data_root <data_root> 
  --dataset d,m,f 
  --base unet 
  --lr 1e-3,.5e-3,.25e-3,.125e-3 
  --boundaries .625,.75,.875 
  --epoch 16 
  --batch_size 16 
  --job_name <sceneflow_job_name> 
  --save_dir <save_dir>

โมเดลจะถูกจัดเก็บไว้ใน <save_dir>/<sceneflow_job_name>/

จากนั้นปรับแต่งโมเดลบน KITTI

$ python train.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --lr 1e-3,1e-4,1e-5 
  --boundaries .33,.67 
  --epoch 600 
  --batch_size 16 
  --load_path <save_dir>/<sceneflow_job_name> 
  --reset_step 
  --job_name <kitti_job_name> 
  --save_dir <save_dir>

โมเดลจะถูกเก็บไว้ใน <save_dir>/<kitti_job_name>/

การทดสอบ

วิธีประเมินโมเดลบน Flyingthings3d:

$ python val.py 
  --data_root <data_root> 
  --dataset f 
  --base unet 
  --load_path <save_dir>/<sceneflow_job_name>

และเพื่อสร้างความแตกต่างของชุดทดสอบ KITTI:

$ python val.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --load_path <save_dir>/<kitti_job_name> 
  --write_result 
  --result_dir <result_dir>

ผลลัพธ์จะถูกเก็บไว้ใน <result_dir> โปรดทราบว่าโปรแกรมจะรายงาน EPE จำลองและความแม่นยำเนื่องจากไม่มีความจริงภาคพื้นดิน

โมเดลฝึกหัด

เราจัดเตรียมโมเดลสถาปัตยกรรมที่ได้รับการฝึกไว้ล่วงหน้าด้วยโมเดลฐาน UNet แยกโมเดลและใช้ model/unet_sceneflow เป็นพาธการโหลด