DSM

Kesesuaian Stereo yang Mendalam

Lingkungan

• Mem GPU >= 16G (pelatihan, ukuran batch 4 pada GPU tunggal)

• Mem GPU >= 7G (pengujian, ukuran batch 1, gambar resolusi penuh pada GPU tunggal)

• CUDA >= 10.0

• Piton >= 3.6

• pytorch >= 1.0

• opencv-python

Persiapan Data

1. Unduh kumpulan data Sceneflow dari https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html. Silakan unduh gambar RGB (cleanpass) dan Disparitas tiga subset. Kemudian ekstrak file ke subfolder yang sesuai. misalnya Untuk flyingthings3d, ekstrak gambar RGB dan disparity dan Anda akan mendapatkan dua folder bernama disparity dan frame_cleanpass. Masukkan ke dalam <data_root>/flyingthings3d/ .

2. Unduh KITTI 2012 dari http://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php?benchmark=stereo, KITTI 2015 dari http://www.cvlibs.net/datasets/kitti/eval_scene_flow.php?benchmark=stereo . Untuk setiap dataset, ekstrak dan Anda akan mendapatkan dua folder bernama pelatihan dan pengujian. Masukkan ke dalam <data_root>/kitti/201x/unzip/ .

Pelatihan

Pertama-tama latih model di Sceneflow.

$ python train.py 
  --data_root <data_root> 
  --dataset d,m,f 
  --base unet 
  --lr 1e-3,.5e-3,.25e-3,.125e-3 
  --boundaries .625,.75,.875 
  --epoch 16 
  --batch_size 16 
  --job_name <sceneflow_job_name> 
  --save_dir <save_dir>

Model akan disimpan di <save_dir>/<sceneflow_job_name>/ .

Kemudian sempurnakan model pada KITTI

$ python train.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --lr 1e-3,1e-4,1e-5 
  --boundaries .33,.67 
  --epoch 600 
  --batch_size 16 
  --load_path <save_dir>/<sceneflow_job_name> 
  --reset_step 
  --job_name <kitti_job_name> 
  --save_dir <save_dir>

Model akan disimpan di <save_dir>/<kitti_job_name>/ .

Pengujian

Untuk mengevaluasi model pada flyingthings3d:

$ python val.py 
  --data_root <data_root> 
  --dataset f 
  --base unet 
  --load_path <save_dir>/<sceneflow_job_name>

Dan untuk menghasilkan disparitas set tes KITTI:

$ python val.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --load_path <save_dir>/<kitti_job_name> 
  --write_result 
  --result_dir <result_dir>

Outputnya akan disimpan di <result_dir>. Perhatikan bahwa program ini akan melaporkan EPE tiruan dan presisi karena tidak ada kebenaran dasarnya.

Model Terlatih

Kami menyediakan model arsitektur terlatih dengan model dasar UNet. Ekstrak model dan gunakan model/unet_sceneflow sebagai jalur pemuatan.