VR Object Tracking

Rastreamento de objetos baseado em câmera para experiências de RV

Objetivo do projeto: Rastrear uma bola no espaço físico 3D e reproduzi-la em um headset VR, para que jogos com bola possam ser disputados.

A imersão das experiências de Realidade Virtual geralmente é aprimorada quando os usuários são capazes de interagir com objetos em um ambiente virtual.

Normalmente, o modo de interação restringe os usuários ao manuseio de objetos inexistentes, criando uma sensação de incompletude pela qual o sentido tátil do usuário não é estimulado.

Este projeto apresenta um sistema completo, onde um objeto físico é rastreado por meio de uma webcam e reproduzido no mesmo local preciso dentro de um ambiente virtual, permitindo ao usuário manipular o objeto enquanto estiver na realidade virtual.

O sistema que criei consiste em dois componentes que se comunicam via UDP:

• Um aplicativo python 2.7.16 que utiliza OpenCV para manipular dados de webcam e produzir uma saída de informações posicionais de um objeto não amarrado (uma bola!)
• Aplicativo de realidade virtual AC# que pega os dados posicionais do referido objeto e os renderiza na mesma posição em relação ao usuário, de forma que possa interagir com ele (implementação Unity3D)

Vídeos de demonstração

Manuseando a bola?

Experiência de boliche?

Criado por:

George Lowe

Contate-me aqui:

Este projeto foi inicialmente produzido como parte do meu projeto de dissertação durante a minha licenciatura em Ciência da Computação.