VR Object Tracking

Pelacakan objek berbasis kamera untuk pengalaman VR

Tujuan Proyek: Melacak bola dalam ruang fisik 3D dan mereproduksinya dalam headset VR, sehingga permainan bola dapat dimainkan.

Pengalaman Realitas Virtual yang mendalam sering kali ditingkatkan ketika pengguna dapat berinteraksi dengan objek dalam lingkungan virtual.

Biasanya mode interaksi membatasi pengguna untuk menangani objek yang tidak ada, menciptakan rasa ketidaklengkapan sehingga indera peraba pengguna tidak terstimulasi.

Proyek ini memperkenalkan sistem yang lengkap, sehingga objek fisik dilacak menggunakan webcam dan direproduksi di lokasi persis yang sama dalam lingkungan virtual, memungkinkan pengguna untuk memanipulasi objek saat berada dalam realitas virtual.

Sistem yang saya buat terdiri dari dua komponen yang berkomunikasi melalui UDP:

• Aplikasi python 2.7.16 yang menggunakan OpenCV untuk menangani data webcam dan menghasilkan keluaran informasi posisi objek yang tidak ditambatkan (bola!)
• Aplikasi realitas virtual AC# yang mengambil data posisi objek tersebut dan merendernya ke posisi yang sama relatif terhadap pengguna, sehingga dapat berinteraksi (implementasi Unity3D)

Video Demo

Menangani bola?

Pengalaman bermain bowling?

Dibuat oleh:

George Lowe

Hubungi saya di sini:

Proyek ini awalnya diproduksi sebagai bagian dari proyek Disertasi saya saat mengambil gelar BSc di bidang Ilmu Komputer.