tsdf fusion

複数の深度マップのボリューム TSDF 融合

更新: CPU/GPU の両方をサポートするこのコードの Python バージョンは、ここにあります。

複数の登録された深度マップを射影切断符号付き距離関数 (TSDF) ボクセル ボリュームに融合する CUDA/C++ コード。これを使用して、高品質の 3D サーフェス メッシュと点群を作成できます。 Ubuntu 14.04 および 16.04 でテストされました。

古いバージョンをお探しですか?ここを参照してください。

変更ログ

• 2017 年 11 月 1 日。バグ修正: tsdf2mesh.m 、ボクセル座標ではなくカメラ座標でメッシュを適切に生成するようになりました。
• 2017 年 10 月 30 日。通知: デモ コードでSaveVoxelGrid2SurfacePointCloudのデフォルトの重みしきい値を変更し、深度フレームを 1 つだけ使用して点群ビジュアライゼーションを作成できるようにしました。
• 2017 年 8 月 30 日。バグ修正: 統合中の表面距離計算から非推奨のオフセットを削除しました。

要件

• CUDA をサポートする NVIDA GPU
• OpenCV (OpenCV 2.4.11 でテスト済み)

デモ

このデモは、ディレクトリdata/rgbd-framesからの 50 の登録された深度マップを投影 TSDF ボクセル ボリュームに融合し、3D 表面点群tsdf.plyを作成します。これは、Meshlab などの 3D ビューアで視覚化できます。

注: 入力深度マップは、16 ビット PNG、深さ (ミリメートル) の形式で保存する必要があります。

./compile.sh # compiles demo executable
./demo # 3D point cloud saved to tsdf.ply and voxel grid saved to tsdf.bin

[オプション] このデモでは、計算されたボクセル ボリュームもバイナリ ファイルtsdf.binに保存されます。 Matlab で次のスクリプトを実行して 3D サーフェス メッシュmesh.plyを作成します。これは Meshlab で視覚化できます。

 tsdf2mesh ; % 3D mesh saved to mesh.ply 

で見られる

• 3DMatch: RGB-D 再構成からの局所幾何学的記述子の学習 (CVPR 2017)
• 単一の深度画像からのセマンティック シーンの完成 (CVPR 2017)
• RGB-D 画像におけるアモーダル 3D オブジェクト検出のためのディープ スライディング シェイプ (CVPR 2016)

参考文献

• 距離画像から複雑なモデルを構築するための容積測定法 (SIGGRAPH 1996)
• KinectFusion: リアルタイムの高密度表面マッピングと追跡 (ISMAR 2011)
• RGB-D 画像におけるカメラの再位置推定のためのシーン座標回帰フォレスト (CVPR 2013)

引用

このリポジトリは 3DMatch Toolbox の一部です。このコードが自分の仕事に役立つと思われる場合は、次のコードを引用することを検討してください。

 @inproceedings{zeng20163dmatch, 
    title={3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions}, 
    author={Zeng, Andy and Song, Shuran and Nie{ss}ner, Matthias and Fisher, Matthew and Xiao, Jianxiong and Funkhouser, Thomas}, 
    booktitle={CVPR}, 
    year={2017} 
}