tsdf fusion

Penggabungan TSDF Volumetrik dari Peta Kedalaman Berganda

Pembaruan : versi python dari kode ini dengan dukungan CPU/GPU dapat ditemukan di sini.

Kode CUDA/C++ untuk menggabungkan beberapa peta kedalaman terdaftar ke dalam volume voxel fungsi jarak terpotong proyektif (TSDF), yang kemudian dapat digunakan untuk membuat jerat permukaan 3D dan awan titik berkualitas tinggi. Diuji pada Ubuntu 14.04 dan 16.04.

Mencari versi yang lebih lama? Lihat di sini.

Ubah Log

• 1 November 2017. Perbaikan bug: tsdf2mesh.m sekarang menghasilkan mesh dengan benar di koordinat kamera, bukan di koordinat voxel.
• 30 Oktober 2017. Pemberitahuan: mengubah ambang bobot default untuk SaveVoxelGrid2SurfacePointCloud dalam kode demo untuk memungkinkan pembuatan visualisasi point cloud hanya dengan satu bingkai kedalaman.
• 30 Agustus 2017. Perbaikan bug: menghapus offset yang tidak digunakan lagi dari komputasi jarak permukaan selama integrasi.

Persyaratan

• GPU NVIDA dengan dukungan CUDA
• OpenCV (diuji dengan OpenCV 2.4.11)

Demo

Demo ini menggabungkan 50 peta kedalaman terdaftar dari data/rgbd-frames ke dalam volume voxel TSDF proyektif, dan membuat titik permukaan 3D cloud tsdf.ply , yang dapat divisualisasikan dengan penampil 3D seperti Meshlab.

Catatan : Peta kedalaman masukan harus disimpan dalam format: PNG 16-bit, kedalaman dalam milimeter.

./compile.sh # compiles demo executable
./demo # 3D point cloud saved to tsdf.ply and voxel grid saved to tsdf.bin

[Opsional] Demo ini juga menyimpan volume voxel yang dihitung ke dalam file biner tsdf.bin . Jalankan skrip berikut di Matlab untuk membuat mesh.ply permukaan 3D, yang dapat divisualisasikan dengan Meshlab.

 tsdf2mesh ; % 3D mesh saved to mesh.ply 

Terlihat di

• 3DMatch: Mempelajari Deskriptor Geometris Lokal dari Rekonstruksi RGB-D (CVPR 2017)
• Penyelesaian Adegan Semantik dari Gambar Kedalaman Tunggal (CVPR 2017)
• Bentuk Geser Dalam untuk Deteksi Objek 3D Amodal pada Gambar RGB-D (CVPR 2016)

Referensi

• Metode Volumetrik untuk Membangun Model Kompleks dari Gambar Jarak Jauh (SIGGRAPH 1996)
• KinectFusion: Pemetaan dan Pelacakan Permukaan Padat Secara Real-Time (ISMAR 2011)
• Hutan Regresi Koordinat Pemandangan untuk Relokalisasi Kamera pada Gambar RGB-D (CVPR 2013)

Mengutip

Repositori ini adalah bagian dari 3DMatch Toolbox. Jika Anda merasa kode ini berguna dalam pekerjaan Anda, harap pertimbangkan untuk mengutip:

 @inproceedings{zeng20163dmatch, 
    title={3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions}, 
    author={Zeng, Andy and Song, Shuran and Nie{ss}ner, Matthias and Fisher, Matthew and Xiao, Jianxiong and Funkhouser, Thomas}, 
    booktitle={CVPR}, 
    year={2017} 
}