DSM

إمكانية مطابقة الستيريو العميق

بيئة

• ذاكرة GPU >= 16 جيجا (تدريب، حجم الدفعة 4 على وحدة معالجة رسومات واحدة)

• وحدة معالجة الرسومات >= 7 جيجا بايت (الاختبار، حجم الدفعة 1، صورة كاملة الدقة على وحدة معالجة رسومات واحدة)

• كودا >= 10.0

• بايثون >= 3.6

• الشعلة >= 1.0

• opencv-بايثون

إعداد البيانات

1. قم بتنزيل مجموعة بيانات Sceneflow من https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html. يرجى تنزيل صور RGB (ممر التنظيف) والتباين بين ثلاث مجموعات فرعية. ثم قم باستخراج الملفات إلى المجلد الفرعي المقابل. على سبيل المثال، بالنسبة لـ flythings3d، قم باستخراج صور RGB والتباين وستحصل على مجلدين باسم disparity وframes_cleanpass. ضعهم في <data_root>/flyingthings3d/ .

2. قم بتنزيل KITTI 2012 من http://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php?benchmark=stereo، وKITTI 2015 من http://www.cvlibs.net/datasets/kitti/eval_scene_flow.php?benchmark=stereo . قم باستخراج كل مجموعة بيانات وستحصل على مجلدين باسم التدريب والاختبار. ضعهم في <data_root>/kitti/201x/unzip/ .

تمرين

قم أولاً بتدريب النموذج مسبقًا على Sceneflow.

$ python train.py 
  --data_root <data_root> 
  --dataset d,m,f 
  --base unet 
  --lr 1e-3,.5e-3,.25e-3,.125e-3 
  --boundaries .625,.75,.875 
  --epoch 16 
  --batch_size 16 
  --job_name <sceneflow_job_name> 
  --save_dir <save_dir>

سيتم تخزين النموذج في <save_dir>/<sceneflow_job_name>/ .

ثم قم بضبط النموذج على KITTI

$ python train.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --lr 1e-3,1e-4,1e-5 
  --boundaries .33,.67 
  --epoch 600 
  --batch_size 16 
  --load_path <save_dir>/<sceneflow_job_name> 
  --reset_step 
  --job_name <kitti_job_name> 
  --save_dir <save_dir>

سيتم تخزين النموذج في <save_dir>/<kitti_job_name>/ .

اختبار

لتقييم النموذج على flythings3d:

$ python val.py 
  --data_root <data_root> 
  --dataset f 
  --base unet 
  --load_path <save_dir>/<sceneflow_job_name>

ولإنتاج التباين في مجموعة اختبار KITTI:

$ python val.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --load_path <save_dir>/<kitti_job_name> 
  --write_result 
  --result_dir <result_dir>

سيتم تخزين المخرجات في <result_dir>. لاحظ أن البرنامج سيقوم بالإبلاغ عن EPE الوهمي والدقة لأنه لا توجد حقيقة أساسية.

نموذج مُدرب مسبقًا

نحن نقدم النموذج المعماري المُدرب مسبقًا مع النموذج الأساسي لـ UNet. قم باستخراج النموذج واستخدام model/unet_sceneflow كمسار التحميل.