tsdf fusion

Fusión TSDF volumétrica de múltiples mapas de profundidad

Actualización : aquí se puede encontrar una versión Python de este código con soporte para CPU/GPU.

Código CUDA/C++ para fusionar múltiples mapas de profundidad registrados en un volumen de vóxel proyectivo con función de distancia con signo truncado (TSDF), que luego se puede utilizar para crear mallas de superficie 3D y nubes de puntos de alta calidad. Probado en Ubuntu 14.04 y 16.04.

¿Busca una versión anterior? Ver aquí.

Registro de cambios

• 1 de noviembre de 2017. Corrección de errores: tsdf2mesh.m ahora genera correctamente una malla en las coordenadas de la cámara en lugar de las coordenadas de vóxel.
• 30 de octubre de 2017. Aviso: se cambió el umbral de peso predeterminado para SaveVoxelGrid2SurfacePointCloud en el código de demostración para permitir la creación de visualizaciones de nubes de puntos con un solo marco de profundidad.
• 30 de agosto de 2017. Corrección de errores: elimine las compensaciones obsoletas del cálculo de la distancia de la superficie durante la integración.

Requisitos

• GPU NVIDA con soporte CUDA
• OpenCV (probado con OpenCV 2.4.11)

Manifestación

Esta demostración fusiona 50 mapas de profundidad registrados a partir de data/rgbd-frames en un volumen de vóxel TSDF proyectivo y crea una nube de puntos de superficie 3D tsdf.ply , que se puede visualizar con un visor 3D como Meshlab.

Nota : Los mapas de profundidad de entrada deben guardarse en formato: PNG de 16 bits, profundidad en milímetros.

./compile.sh # compiles demo executable
./demo # 3D point cloud saved to tsdf.ply and voxel grid saved to tsdf.bin

[Opcional] Esta demostración también guarda el volumen de vóxel calculado en un archivo binario tsdf.bin . Ejecute el siguiente script en Matlab para crear una malla de superficie 3D mesh.ply , que se puede visualizar con Meshlab.

 tsdf2mesh ; % 3D mesh saved to mesh.ply 

Visto en

• 3DMatch: Aprendizaje de descriptores geométricos locales a partir de reconstrucciones RGB-D (CVPR 2017)
• Finalización de escena semántica a partir de una imagen de profundidad única (CVPR 2017)
• Formas deslizantes profundas para la detección de objetos 3D amodales en imágenes RGB-D (CVPR 2016)

Referencias

• Un método volumétrico para construir modelos complejos a partir de imágenes de rango (SIGGRAPH 1996)
• KinectFusion: mapeo y seguimiento de superficies densas en tiempo real (ISMAR 2011)
• Bosques de regresión de coordenadas de escena para la relocalización de cámaras en imágenes RGB-D (CVPR 2013)

Citando

Este repositorio es parte de 3DMatch Toolbox. Si encuentra este código útil en su trabajo, considere citar:

 @inproceedings{zeng20163dmatch, 
    title={3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions}, 
    author={Zeng, Andy and Song, Shuran and Nie{ss}ner, Matthias and Fisher, Matthew and Xiao, Jianxiong and Funkhouser, Thomas}, 
    booktitle={CVPR}, 
    year={2017} 
}