3DObjectTracking

3D オブジェクト追跡

3D 空間でオブジェクトと運動学的構造を追跡し、それらのポーズと構成を決定することは、コンピューター ビジョンにおいて不可欠なタスクです。その応用範囲は、拡張現実からロボットの知覚まで多岐にわたります。連続した画像フレーム、3D メッシュ、運動学的情報が与えられた場合、目標は、カメラに対するすべての物体の回転と平行移動を確実に推定することです。この問題は徹底的に研究されてきましたが、部分的なオクルージョン、外観の変化、モーション ブラー、背景の乱雑さ、オブジェクトの曖昧さ、リアルタイム要件など、多くの課題が依然として存在しています。

このリポジトリでは、3D オブジェクト追跡に関する進行中の研究のアルゴリズムとコードを継続的に公開していきます。さまざまなアルゴリズムのフォルダーには、論文で示された結果を再現するために必要なものがすべて含まれています。それぞれの新しい論文のコードには、以前の研究の更新バージョンも含まれていることに注意してください。独自のプロジェクトまたはアプリケーションでトラッカーを使用したい場合は、最新の出版物のコードを使用してください。現在、コードの最新バージョンはフォルダーM3Tにあります。

アルゴリズム

• RBGT Stoiber M、Pfanne M、Strobl KH、Triebel R、Albu-Schäffer A (2020) 領域ベースの 6DoF オブジェクト追跡に対するスパース ガウス アプローチ。開催場所: コンピュータービジョンに関するアジア会議
• SRT3D Stoiber M、Pfanne M、Strobl KH、Triebel R、Albu-Schäffer A (2022) SRT3D: 現実世界のための疎領域ベースの 3D オブジェクト追跡アプローチ。掲載: 国際コンピューター ビジョン ジャーナル
• ICG Stoiber M、Sundermeyer M、Triebel R (2022) 反復対応ジオメトリ: テクスチャレス オブジェクトの高効率 3D 追跡のための領域と深度の融合。開催地: コンピュータビジョンとパターン認識に関するカンファレンス
• ICG+ Stoiber M、Elsayed M、Reichert AE、Sheidle F、Lee D、および Triebel R (2023) マルチモダリティ 6DoF オブジェクト追跡のための視覚的外観とジオメトリの融合。提出先: IEEE/RSJ 知能ロボット国際会議 2023
• Mb-ICG Stoiber M、Sundermeyer M、Boerdijk W、Triebel R (2023) マルチボディ トラッキング フレームワーク - 剛体から運動学的構造まで。提出先: パターン分析とマシン インテリジェンスに関する IEEE トランザクション
• M3T Stoiber M (2023) ループを閉じる: 高度なロボット操作のための 3D オブジェクト追跡。ミュンヘン工科大学に博士論文を提出

動画

マルチボディ トラッキング フレームワーク - 剛体から運動学的構造まで

マルチモダリティ 6DoF オブジェクト追跡のための視覚的な外観とジオメトリの融合

プレゼンテーション CVPR 2022

対応するジオメトリの反復

ACCV 2020 口頭発表

領域ベースの 6DoF オブジェクト追跡に対するスパース ガウス アプローチ

領域ベースの 6DoF オブジェクト追跡に対するスパース ガウス アプローチ