VR Object Tracking

Seguimiento de objetos basado en cámara para experiencias de realidad virtual

Objetivo del proyecto: rastrear una pelota en un espacio físico 3D y reproducirla dentro de un visor de realidad virtual, de modo que se puedan jugar juegos de pelota.

La inmersión de las experiencias de realidad virtual suele mejorar cuando los usuarios pueden interactuar con objetos dentro de un entorno virtual.

Normalmente, el modo de interacción restringe a los usuarios a manipular objetos inexistentes, creando una sensación de incompletitud por la cual el sentido táctil del usuario no se estimula.

Este proyecto introduce un sistema completo, de modo que un objeto físico se rastrea mediante una cámara web y se reproduce en la misma ubicación precisa dentro de un entorno virtual, lo que permite a los usuarios manipular el objeto en la realidad virtual.

El sistema que he creado consta de dos componentes que se comunican vía UDP:

• Una aplicación Python 2.7.16 que utiliza OpenCV para manejar datos de la cámara web y producir una salida de información posicional de un objeto sin ataduras (¡una pelota!)
• Aplicación de realidad virtual AC# que toma los datos posicionales de dicho objeto y los coloca en la misma posición relativa al usuario, de modo que se pueda interactuar con él (implementación de Unity3D)

Vídeos de demostración

¿Manejar la pelota?

¿Experiencia de bolos?

Creado por:

George Lowe

Contáctame aquí:

Este proyecto se produjo inicialmente como parte de mi proyecto de disertación mientras realizaba mi Licenciatura en Ciencias de la Computación.