VR Object Tracking

Suivi d'objets basé sur une caméra pour les expériences VR

Objectif du projet : suivre une balle dans un espace physique 3D et la reproduire dans un casque VR, de manière à pouvoir jouer à des jeux de balle.

L'immersion des expériences de réalité virtuelle est souvent améliorée lorsque les utilisateurs peuvent interagir avec des objets dans un environnement virtuel.

Généralement, le mode d'interaction restreint les utilisateurs à la manipulation d'objets inexistants, créant un sentiment d'incomplétude dans lequel le sens tactile de l'utilisateur n'est pas stimulé.

Ce projet introduit un système complet, tel qu'un objet physique est suivi à l'aide d'une webcam et reproduit au même endroit précis dans un environnement virtuel, permettant aux utilisateurs de manipuler l'objet dans la réalité virtuelle.

Le système que j'ai créé se compose de deux composants qui communiquent via UDP :

• Une application python 2.7.16 qui utilise OpenCV pour gérer les données de la webcam et produire une sortie d'informations de position d'un objet non attaché (une balle !)
• Application de réalité virtuelle AC# qui prend les données de position dudit objet et les restitue dans la même position par rapport à l'utilisateur, de sorte qu'il puisse être interagi avec (implémentation Unity3D)

Vidéos de démonstration

Manipuler le ballon ?

Expérience de bowling ?

Créé par :

Georges Lowe

Contactez-moi ici :

Ce projet a été initialement réalisé dans le cadre de mon projet de thèse tout en entreprenant mon BSc en informatique.