VR Object Tracking

Отслеживание объектов с помощью камеры для виртуальной реальности

Цель проекта: отслеживание мяча в трехмерном физическом пространстве и его воспроизведение в гарнитуре виртуальной реальности, чтобы можно было играть в игры с мячом.

Погружение в виртуальную реальность часто усиливается, когда пользователи могут взаимодействовать с объектами в виртуальной среде.

Обычно режим взаимодействия ограничивает пользователей манипулированием несуществующими объектами, создавая ощущение незавершенности, в результате чего тактильные чувства пользователя не стимулируются.

Этот проект представляет собой полноценную систему, в которой физический объект отслеживается с помощью веб-камеры и воспроизводится в одном и том же точном месте в виртуальной среде, что позволяет пользователям манипулировать объектом, находясь в виртуальной реальности.

Созданная мной система состоит из двух компонентов, которые взаимодействуют через UDP:

• Приложение Python 2.7.16, которое использует OpenCV для обработки данных веб-камеры и вывода информации о положении непривязанного объекта (мяча!)
• Приложение виртуальной реальности AC#, которое принимает данные о положении указанного объекта и отображает его в том же положении относительно пользователя, чтобы с ним можно было взаимодействовать (реализация Unity3D)

Демо-видео

Обработка мяча?

Опыт игры в боулинг?

Создано:

Джордж Лоу

Свяжитесь со мной здесь:

Первоначально этот проект был создан как часть моего диссертационного проекта, когда я получал степень бакалавра компьютерных наук.