rtmf

Este código extrai a rotação e a segmentação do mundo local de Manhattan de imagens em profundidade em tempo real. Aqui está um vídeo de demonstração para três sequências RGB-D diferentes:

Se você estiver usando este código para sua pesquisa, cite

 Real-time Manhattan World Rotation Estimation in 3D (Julian Straub,
Nishchal Bhandari, John J. Leonard, John W. Fisher III), In IROS, 2015.

Dependências

Este código depende das outras bibliotecas a seguir e foi testado no Ubuntu 14.04.

• PCL 1.7 (e VTK 5.8)
• OpenCV 2 (2.3.1)
• Eigen3 (3.0.5)
• CUDA 5.5 ou 6.5
• Boost (1,52)

Os núcleos da GPU foram testados em um NVIDIA Quadro K2000M com capacidade de computação 3.0.

Instalar

Depois de ter essas dependências em vigor

 make checkout && make configure && make 

Isso verificará as dependências de alguns dos meus outros repositórios (JSCore, MMF, Cudepcl) e compilará tudo para ./build/

Começando

Depois de instalar a biblioteca, tente executar o seguinte para inferir o MF de uma cena simples após a suposição mundial de Manhattan:

 ./pod-build/bin/realtimeMF -i data/MIT_hallway_1_d.png -o MIT_hallway_1 -d

Haverá um arquivo .CSV de resultados com a rotação do MF e uma imagem sobrepondo a segmentação na parte superior da imagem em escala de cinza da cena.

Biblioteca

Libcudapcl.so coleta todo o código CUDA em uma biblioteca compartilhada. O restante do código está na forma de arquivos de cabeçalho.

Executáveis

• Realtimemf : Infera a rotação da estrutura de Manhattan e a segmentação de cenas implícitas em tempo real a partir de imagens de profundidade. Se nenhuma entrada for especificada via '-i', o programa usa o OpenNi para pegar quadros de uma câmera RGB-D conectada. Os diferentes modos se referem aos diferentes modelos subjacentes, conforme descrito no artigo (veja a referência acima).

 Allowed options:
  -h [ --help ]         produce help message
  -m [ --mode ] arg     mode of the rtmf (direct, approx, vmf)
  -i [ --in ] arg       path to input file
  -o [ --out ] arg      path to output file
  -d [ --display ]      display results
  -B [ --B ] arg        B for guided filter
  -T [ --T ] arg        number of iterations
  --eps arg             eps for guided filter
  -f [ --f_d ] arg      focal length of depth camera
  --nCGIter arg         max number of CG iterations
  --dt arg              steplength for linesearch
  --tMax arg            max length for linesearch

• Realtimemf_lcm : o mesmo que o Realtimemf, exceto que os quadros RGB-D são obtidos como mensagens LCM (https://github.com/lcm-proj/lcm).

 Allowed options:
  -h [ --help ]         produce help message
  -m [ --mode ] arg     mode of the rtmf (direct, approx, vmf)
  -o [ --out ] arg      path to output file
  -d [ --display ]      display results
  -B [ --B ] arg        B for guided filter
  -T [ --T ] arg        number of iterations
  --eps arg             eps for guided filter
  -f [ --f_d ] arg      focal length of depth camera
  --nCGIter arg         max number of CG iterations
  --dt arg              steplength for linesearch
  --tMax arg            max length for linesearch