DSM

Глубокая стереосовместимость

Среда

• Память графического процессора >= 16 ГБ (обучение, размер пакета 4 на одном графическом процессоре)

• Память графического процессора >= 7 ГБ (тестирование, размер пакета 1, изображение в полном разрешении на одном графическом процессоре)

• КУДА >= 10,0

• Питон >= 3,6

• питорч >= 1.0

• opencv-питон

Подготовка данных

1. Загрузите набор данных Sceneflow с https://lmb.informatik.uni-freiburg.de/resources/datasets/SceneFlowDatasets.en.html. Пожалуйста, загрузите изображения RGB (cleanpass) и диспаритет трех подмножеств. Затем извлеките файлы в соответствующую подпапку. например, для Flyingthings3d извлеките изображения RGB и неравенство, и вы получите две папки с именами disparity иframes_cleanpass. Поместите их в <data_root>/flyingthings3d/ .

2. Загрузите KITTI 2012 с http://www.cvlibs.net/datasets/kitti/eval_stereo_flow.php?benchmark=stereo, KITTI 2015 с http://www.cvlibs.net/datasets/kitti/eval_scene_flow.php?benchmark=stereo . Извлеките каждый набор данных, и вы получите две папки с именами Training и Testing. Поместите их в <data_root>/kitti/201x/unzip/ .

Обучение

Сначала предварительно обучите модель в Sceneflow.

$ python train.py 
  --data_root <data_root> 
  --dataset d,m,f 
  --base unet 
  --lr 1e-3,.5e-3,.25e-3,.125e-3 
  --boundaries .625,.75,.875 
  --epoch 16 
  --batch_size 16 
  --job_name <sceneflow_job_name> 
  --save_dir <save_dir>

Модель будет сохранена в <save_dir>/<sceneflow_job_name>/ .

Затем настройте модель на KITTI.

$ python train.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --lr 1e-3,1e-4,1e-5 
  --boundaries .33,.67 
  --epoch 600 
  --batch_size 16 
  --load_path <save_dir>/<sceneflow_job_name> 
  --reset_step 
  --job_name <kitti_job_name> 
  --save_dir <save_dir>

Модель будет сохранена в <save_dir>/<kitti_job_name>/ .

Тестирование

Чтобы оценить модель на Flythings3d:

$ python val.py 
  --data_root <data_root> 
  --dataset f 
  --base unet 
  --load_path <save_dir>/<sceneflow_job_name>

И чтобы определить несоответствие тестового набора KITTI:

$ python val.py 
  --data_root <data_root> 
  --dataset k15 
  --base unet 
  --load_path <save_dir>/<kitti_job_name> 
  --write_result 
  --result_dir <result_dir>

Результаты будут храниться в <result_dir>. Обратите внимание, что программа сообщит о фиктивных значениях EPE и точности, поскольку достоверных данных нет.

Предварительно обученная модель

Мы предоставляем предварительно обученную модель архитектуры с базовой моделью UNet. Извлеките модель и используйте model/unet_sceneflow в качестве пути загрузки.