3DObjectTracking

Suivi d'objets 3D

Suivre des objets et des structures cinématiques dans l’espace 3D et déterminer leurs poses et configurations est une tâche essentielle en vision par ordinateur. Son application va de la réalité augmentée à la perception robotique. Étant donné des images consécutives, ainsi que des maillages 3D et des informations cinématiques, l'objectif est d'estimer de manière robuste la rotation et la translation de tous les corps par rapport à une caméra. Bien que le problème ait été étudié de manière approfondie, de nombreux défis tels que les occultations partielles, les changements d'apparence, le flou de mouvement, le fouillis d'arrière-plan, l'ambiguïté des objets et les exigences en temps réel existent toujours.

Dans ce référentiel, nous publierons en permanence les algorithmes et le code de nos recherches en cours sur le suivi d'objets 3D. Les dossiers des différents algorithmes comprennent tout le nécessaire pour reproduire les résultats présentés dans nos articles. Notez que le code de chaque nouvel article inclut également une version mise à jour des travaux précédents. Si vous souhaitez utiliser notre tracker dans votre propre projet ou application, veuillez utiliser le code de la dernière publication. Actuellement, la dernière version de notre code se trouve dans le dossier M3T .

Algorithmes

• RBGT Stoiber M, Pfanne M, Strobl KH, Triebel R, Albu-Schäffer A (2020) Une approche gaussienne clairsemée du suivi d'objets 6DoF basé sur la région. Dans : Conférence asiatique sur la vision par ordinateur
• SRT3D Stoiber M, Pfanne M, Strobl KH, Triebel R, Albu-Schäffer A (2022) SRT3D : une approche de suivi d'objets 3D basée sur des régions clairsemées pour le monde réel. Dans : Journal international de vision par ordinateur
• ICG Stoiber M, Sundermeyer M, Triebel R (2022) Géométrie itérative correspondante : fusion de la région et de la profondeur pour un suivi 3D très efficace d'objets sans texture. Dans : Conférence sur la vision par ordinateur et la reconnaissance de formes
• ICG+ Stoiber M, Elsayed M, Reichert AE, Steidle F, Lee D et Triebel R (2023) Fusion de l'apparence visuelle et de la géométrie pour le suivi d'objets 6DoF multimodaux. Soumis à : Conférence internationale IEEE/RSJ sur les robots intelligents 2023
• Mb-ICG Stoiber M, Sundermeyer M, Boerdijk W, Triebel R (2023) Un cadre de suivi multi-corps - Des objets rigides aux structures cinématiques. Soumis à : Transactions IEEE sur l'analyse de modèles et l'intelligence artificielle
• M3T Stoiber M (2023) Boucler la boucle : suivi d'objets 3D pour une manipulation robotique avancée. Thèse soumise à l'Université Technique de Munich

Vidéos

Un cadre de suivi multi-corps - Des objets rigides aux structures cinématiques

Fusion de l'apparence visuelle et de la géométrie pour le suivi d'objets 6DoF multimodalités

Présentation CVPR 2022

Géométrie correspondante itérative

Présentation orale ACCV 2020

Une approche gaussienne clairsemée du suivi d'objets 6DoF basé sur la région

Une approche gaussienne clairsemée du suivi d'objets 6DoF basé sur la région