rtmf

Este código extrae la rotación y segmentación del mundo de Manhattan de Manhattan de las imágenes de profundidad en tiempo real. Aquí hay un video de demostración para tres secuencias RGB-D diferentes:

Si está utilizando este código para su investigación, cite

 Real-time Manhattan World Rotation Estimation in 3D (Julian Straub,
Nishchal Bhandari, John J. Leonard, John W. Fisher III), In IROS, 2015.

Dependencias

Este código depende de las siguientes otras bibliotecas y se probó bajo Ubuntu 14.04.

• PCL 1.7 (y VTK 5.8)
• OpenCV 2 (2.3.1)
• Eigen3 (3.0.5)
• CUDA 5.5 o 6.5
• Boost (1.52)

Los núcleos GPU se probaron en un NVIDIA Quadro K2000M con la capacidad de cómputo 3.0.

Instalar

Una vez que tenga esas dependencias en su lugar.

 make checkout && make configure && make 

Esto verificará las dependencias de algunos de mis otros repositorios (JScore, MMF, Cudepcl) y compilará todo a ./build/

Empezando

Después de instalar la biblioteca, intente ejecutar lo siguiente para inferir el MF de una escena simple después de la suposición de Manhattan World:

 ./pod-build/bin/realtimeMF -i data/MIT_hallway_1_d.png -o MIT_hallway_1 -d

Habrá un archivo .CSV de resultados con la rotación de la MF y una imagen que superpone la segmentación en la parte superior de la imagen a escala gris de la escena.

Biblioteca

libcudapcl.so recopila todo el código CUDA en una biblioteca compartida. El resto del código está en forma de archivos de encabezado.

Ejecutables

• RealTimemf : infiere la rotación del marco de Manhattan y la segmentación de escenas implícitas en tiempo real desde las imágenes de profundidad. Si no se especifica ninguna entrada a través de '-I', el programa utiliza OpenNI para obtener marcos de una cámara RGB-D conectada. Los diferentes modos se refieren a los diferentes modelos subyacentes como se describe en el documento (ver referencia anterior).

 Allowed options:
  -h [ --help ]         produce help message
  -m [ --mode ] arg     mode of the rtmf (direct, approx, vmf)
  -i [ --in ] arg       path to input file
  -o [ --out ] arg      path to output file
  -d [ --display ]      display results
  -B [ --B ] arg        B for guided filter
  -T [ --T ] arg        number of iterations
  --eps arg             eps for guided filter
  -f [ --f_d ] arg      focal length of depth camera
  --nCGIter arg         max number of CG iterations
  --dt arg              steplength for linesearch
  --tMax arg            max length for linesearch

• RealTimemF_LCM : igual que RealTimemf, excepto que los marcos RGB-D se obtienen como mensajes LCM (https://github.com/lcm-proj/lcm).

 Allowed options:
  -h [ --help ]         produce help message
  -m [ --mode ] arg     mode of the rtmf (direct, approx, vmf)
  -o [ --out ] arg      path to output file
  -d [ --display ]      display results
  -B [ --B ] arg        B for guided filter
  -T [ --T ] arg        number of iterations
  --eps arg             eps for guided filter
  -f [ --f_d ] arg      focal length of depth camera
  --nCGIter arg         max number of CG iterations
  --dt arg              steplength for linesearch
  --tMax arg            max length for linesearch