tsdf fusion

다중 깊이 맵의 체적 TSDF 융합

업데이트 : CPU/GPU를 모두 지원하는 이 코드의 Python 버전은 여기에서 찾을 수 있습니다.

여러 개의 등록된 깊이 맵을 투영 절단 부호 거리 함수(TSDF) 복셀 볼륨으로 융합하는 CUDA/C++ 코드. 그런 다음 고품질 3D 표면 메시 및 포인트 클라우드를 생성하는 데 사용할 수 있습니다. Ubuntu 14.04 및 16.04에서 테스트되었습니다.

이전 버전을 찾고 계십니까? 여기를 참조하세요.

변경 로그

• 2017년 11월 1일. 버그 수정: tsdf2mesh.m 이제 복셀 좌표 대신 카메라 좌표에서 메시를 올바르게 생성합니다.
• 2017년 10월 30일. 알림: 하나의 깊이 프레임만으로 포인트 클라우드 시각화를 생성할 수 있도록 데모 코드에서 SaveVoxelGrid2SurfacePointCloud 에 대한 기본 가중치 임계값을 변경했습니다.
• 2017년 8월 30일. 버그 수정: 통합 중 표면 거리 계산에서 더 이상 사용되지 않는 오프셋을 제거합니다.

요구사항

• CUDA를 지원하는 NVIDA GPU
• OpenCV(OpenCV 2.4.11로 테스트됨)

데모

이 데모는 디렉토리 data/rgbd-frames 의 등록된 깊이 맵 50개를 투영 TSDF 복셀 볼륨으로 융합하고 Meshlab과 같은 3D 뷰어로 시각화할 수 있는 3D 표면 포인트 클라우드 tsdf.ply 생성합니다.

참고 : 입력 깊이 맵은 16비트 PNG, 깊이(밀리미터) 형식으로 저장해야 합니다.

./compile.sh # compiles demo executable
./demo # 3D point cloud saved to tsdf.ply and voxel grid saved to tsdf.bin

[선택 사항] 이 데모에서는 계산된 복셀 볼륨을 바이너리 파일 tsdf.bin 에 저장합니다. Matlab에서 다음 스크립트를 실행하여 Meshlab으로 시각화할 수 있는 3D 표면 메쉬 mesh.ply 만듭니다.

 tsdf2mesh ; % 3D mesh saved to mesh.ply 

에서 본

• 3DMatch: RGB-D 재구성을 통해 로컬 기하학적 설명자 학습(CVPR 2017)
• 단일 깊이 이미지를 통한 의미론적 장면 완성(CVPR 2017)
• RGB-D 이미지에서 Amodal 3D 개체 감지를 위한 깊은 슬라이딩 모양(CVPR 2016)

참고자료

• 범위 이미지로부터 복잡한 모델을 구축하기 위한 체적 방법(SIGGRAPH 1996)
• KinectFusion: 실시간 밀도 표면 매핑 및 추적(ISMAR 2011)
• RGB-D 이미지의 카메라 재지역화를 위한 장면 좌표 회귀 포레스트(CVPR 2013)

인용

이 저장소는 3DMatch Toolbox의 일부입니다. 이 코드가 작업에 유용하다고 생각되면 다음을 인용해 보세요.

 @inproceedings{zeng20163dmatch, 
    title={3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions}, 
    author={Zeng, Andy and Song, Shuran and Nie{ss}ner, Matthias and Fisher, Matthew and Xiao, Jianxiong and Funkhouser, Thomas}, 
    booktitle={CVPR}, 
    year={2017} 
}