tsdf fusion

Объемное объединение TSDF нескольких карт глубины

Обновление : версию этого кода на Python с поддержкой как CPU, так и GPU можно найти здесь.

Код CUDA/C++ для объединения нескольких зарегистрированных карт глубины в объем вокселей проективной функции усеченного знака расстояния (TSDF), который затем можно использовать для создания высококачественных трехмерных поверхностных сеток и облаков точек. Протестировано на Ubuntu 14.04 и 16.04.

Ищете более старую версию? Смотрите здесь.

Журнал изменений

• 1 ноября 2017 г. Исправлена ​​ошибка: tsdf2mesh.m теперь правильно генерирует сетку в координатах камеры, а не в координатах вокселей.
• 30 октября 2017 г. Обратите внимание: изменено пороговое значение веса по умолчанию для SaveVoxelGrid2SurfacePointCloud в демонстрационном коде, чтобы можно было создавать визуализации облака точек только с одним кадром глубины.
• 30 августа 2017 г. Исправлена ​​ошибка: удалены устаревшие смещения из расчета расстояния до поверхности во время интеграции.

Требования

• Графический процессор NVIDIA с поддержкой CUDA
• OpenCV (протестировано с OpenCV 2.4.11)

Демо

Эта демонстрация объединяет 50 зарегистрированных карт глубины из каталога data/rgbd-frames в проективный объем вокселей TSDF и создает трехмерное облако точек поверхности tsdf.ply , которое можно визуализировать с помощью средства трехмерного просмотра, такого как Meshlab.

Примечание . Входные карты глубины следует сохранять в формате: 16-битный PNG, глубина в миллиметрах.

./compile.sh # compiles demo executable
./demo # 3D point cloud saved to tsdf.ply and voxel grid saved to tsdf.bin

[Необязательно] Эта демонстрация также сохраняет вычисленный объем воксела в двоичный файл tsdf.bin . Запустите следующий скрипт в Matlab, чтобы создать трехмерную сетку поверхности mesh.ply , которую можно визуализировать с помощью Meshlab.

 tsdf2mesh ; % 3D mesh saved to mesh.ply 

Видел в

• 3DMatch: изучение локальных геометрических дескрипторов на основе реконструкций RGB-D (CVPR 2017)
• Завершение семантической сцены из изображения с одной глубиной (CVPR 2017)
• Глубокие скользящие формы для обнаружения амодальных 3D-объектов в изображениях RGB-D (CVPR 2016)

Ссылки

• Объемный метод построения сложных моделей на основе изображений диапазона (SIGGRAPH, 1996).
• KinectFusion: картографирование и отслеживание плотных поверхностей в реальном времени (ISMAR 2011)
• Леса регрессии координат сцены для перемещения камеры в изображениях RGB-D (CVPR 2013)

Цитирование

Этот репозиторий является частью 3DMatch Toolbox. Если вы найдете этот код полезным в своей работе, рассмотрите возможность цитирования:

 @inproceedings{zeng20163dmatch, 
    title={3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions}, 
    author={Zeng, Andy and Song, Shuran and Nie{ss}ner, Matthias and Fisher, Matthew and Xiao, Jianxiong and Funkhouser, Thomas}, 
    booktitle={CVPR}, 
    year={2017} 
}