3DObjectTracking

Rastreamento de objetos 3D

Rastrear objetos e estruturas cinemáticas no espaço 3D e determinar suas poses e configurações é uma tarefa essencial em visão computacional. Sua aplicação vai desde a realidade aumentada até a percepção robótica. Dados quadros de imagens consecutivos, bem como malhas 3D e informações cinemáticas, o objetivo é estimar de forma robusta a rotação e translação de todos os corpos em relação a uma câmera. Embora o problema tenha sido exaustivamente estudado, ainda existem muitos desafios, como oclusões parciais, alterações de aparência, desfoque de movimento, confusão de fundo, ambiguidade de objetos e requisitos de tempo real.

Neste repositório, publicaremos continuamente algoritmos e códigos de nossas pesquisas em andamento sobre rastreamento de objetos 3D. As pastas dos diferentes algoritmos incluem tudo o que é necessário para reproduzir os resultados apresentados em nossos artigos. Observe que o código de cada novo artigo também inclui uma versão atualizada do trabalho anterior. Se você quiser usar nosso rastreador em seu próprio projeto ou aplicação, use o código da última publicação. Atualmente, a versão mais recente do nosso código pode ser encontrada na pasta M3T .

Algoritmos

• RBGT Stoiber M, Pfanne M, Strobl KH, Triebel R, Albu-Schäffer A (2020) Uma abordagem gaussiana esparsa para rastreamento de objetos 6DoF baseado em região. In: Conferência Asiática sobre Visão Computacional
• SRT3D Stoiber M, Pfanne M, Strobl KH, Triebel R, Albu-Schäffer A (2022) SRT3D: Uma abordagem de rastreamento de objetos 3D baseada em região esparsa para o mundo real. In: Jornal Internacional de Visão Computacional
• ICG Stoiber M, Sundermeyer M, Triebel R (2022) Geometria correspondente iterativa: região de fusão e profundidade para rastreamento 3D altamente eficiente de objetos sem textura. In: Conferência sobre Visão Computacional e Reconhecimento de Padrões
• ICG+ Stoiber M, Elsayed M, Reichert AE, Steidle F, Lee D e Triebel R (2023) Combinando aparência visual e geometria para rastreamento de objetos 6DoF multimodalidade. Enviado para: Conferência Internacional IEEE/RSJ sobre Robôs Inteligentes 2023
• Mb-ICG Stoiber M, Sundermeyer M, Boerdijk W, Triebel R (2023) Uma estrutura de rastreamento multicorpo - de objetos rígidos a estruturas cinemáticas. Enviado para: Transações IEEE sobre Análise de Padrões e Inteligência de Máquina
• M3T Stoiber M (2023) Fechando o ciclo: rastreamento de objetos 3D para manipulação robótica avançada. Dissertação apresentada à Universidade Técnica de Munique

Vídeos

Uma estrutura de rastreamento multicorpo – de objetos rígidos a estruturas cinemáticas

Combinando aparência visual e geometria para rastreamento de objetos 6DoF multimodalidade

Apresentação CVPR 2022

Geometria correspondente iterativa

Apresentação Oral ACCV 2020

Uma abordagem gaussiana esparsa para rastreamento de objetos 6DoF baseado em região

Uma abordagem gaussiana esparsa para rastreamento de objetos 6DoF baseado em região