VR Object Tracking

Kamerabasierte Objektverfolgung für VR-Erlebnisse

Projektziel: Einen Ball im physischen 3D-Raum verfolgen und in einem VR-Headset reproduzieren, sodass Ballspiele gespielt werden können.

Die Immersivität von Virtual-Reality-Erlebnissen wird häufig verbessert, wenn Benutzer mit Objekten in einer virtuellen Umgebung interagieren können.

Typischerweise beschränkt die Art der Interaktion den Benutzer auf den Umgang mit nicht vorhandenen Objekten, wodurch ein Gefühl der Unvollständigkeit entsteht, wodurch der Tastsinn des Benutzers nicht stimuliert wird.

Dieses Projekt stellt ein komplettes System vor, bei dem ein physisches Objekt mithilfe einer Webcam verfolgt und an genau derselben Stelle in einer virtuellen Umgebung reproduziert wird, sodass Benutzer das Objekt in der virtuellen Realität manipulieren können.

Das von mir erstellte System besteht aus zwei Komponenten, die über UDP kommunizieren:

• Eine Python 2.7.16-Anwendung, die OpenCV verwendet, um Webcam-Daten zu verarbeiten und eine Ausgabe von Positionsinformationen eines nicht angebundenen Objekts (eines Balls!) zu erzeugen.
• AC#-Virtual-Reality-Anwendung, die die Positionsdaten des Objekts aufnimmt und es relativ zum Benutzer in die gleiche Position bringt, sodass mit ihm interagiert werden kann (Unity3D-Implementierung)

Demovideos

Mit dem Ball umgehen?

Bowling-Erlebnis?

Erstellt von:

George Lowe

Kontaktieren Sie mich hier:

Dieses Projekt entstand ursprünglich im Rahmen meines Dissertationsprojekts während meines BSc-Studiums in Informatik.