VR Environment GenAI Unity

Penciptaan Lingkungan VR oleh Generative AI, klien Unity

Proyek Unity ini adalah klien untuk menghasilkan, memodifikasi, dan menjelajahi lingkungan yang dihasilkan oleh AI dari perintah suara.

Ini menampilkan dua adegan utama, satu untuk desktop dan satu lagi untuk realitas virtual, yang keduanya memungkinkan Anda menjelajahi dunia baru. Ide proyek ini adalah memungkinkan Anda mengakses semua fitur AI dari suatu aplikasi, sehingga mengurangi gangguan dalam proses pembuatan.

Pendek.lengkap.demo.webm

Proyek ini dikembangkan di Fondation Campus Biotech Geneva (GitHub), bekerja sama dengan Laboratory of Cognitive Science (bagian dari EPLF).

Instalasi

Instalasinya sederhana, karena kami menggunakan fitur Unity standar. Berikut panduan detailnya.

1. Unduh Editor Persatuan 2022.3.36+.
2. Buka proyek dan Anda akan dapat menggunakan adegan, tanpa fitur AI.

Kebanyakan headset VR yang kompatibel dengan OpenXR seharusnya bisa langsung digunakan. Proyek ini dikembangkan dengan HP Reverb G2 (Windows Mixed Reality Headset).

• Jika aset XR tidak berfungsi, Anda dapat mencoba menginstalnya kembali dari Manajer Paket (Manajer Paket -> Perangkat Interaksi XR -> Sampel -> Aset Pemula -> Impor Ulang).
• Untuk Windows Mixed Reality Headset, Anda juga dapat mencoba mengimpor ulang plugin.

Penting

Ini hanya klien, Anda memerlukan server yang berjalan untuk benar-benar menggunakan fitur AI! Repositori untuk menjalankan server dapat ditemukan di: VR-Environment-GenAI-Server.

Penggunaan

Proyek Unity ini menampilkan adegan yang dihasilkan oleh AI dari perintah teks. Adegan dibuat secara dinamis berdasarkan teks masukan dan memungkinkan terciptanya lingkungan yang unik dan kreatif.

Untuk menghasilkan adegan:

1. Mulai server Python, dan edit konfigurasi jika perlu.
2. Muat adegan yang diinginkan. Di desktop muat adegan "Desktop Creator", dan adegan "VR Creator" di VR.
3. Masukkan prompt teks di kolom input. Di VR Anda dapat berbicara sambil memegang mikrofon.
4. Tekan tombol "Hasilkan".
5. Saksikan saat AI membuat adegan berdasarkan perintah teks Anda. Bilah kemajuan menunjukkan waktu yang tersisa.

Konfigurasi

Anda mungkin perlu menetapkan beberapa parameter konfigurasi untuk pengalaman yang lancar. Sebagian besar parameter konfigurasi berada di bawah Assets/Configurations/api.json .

Jika Anda menjalankan proyek VR dan AI secara lokal di komputer yang sama (konfigurasi "debug"), Anda harus mengatur hal berikut.

• pythonFallbackApiFile : jalur file ke file Python api.json , file ini harus berada di folder root proyek Python.

Jika Anda ingin terhubung ke server jarak jauh, fitur penting yang harus diatur:

• serverDefaultIp : IP untuk menjangkau server AI (lebih disukai IPv4).
• serverDefaultPort : nomor port default server.

Catatan: jika server dan file api fallback ditentukan dengan benar, server akan diabaikan dan koneksi akan bersifat lokal. Anda dapat mengganti jalur file api cadangan dengan jalur mana pun yang salah untuk mencegah perilaku ini.

Beberapa opsi dianggap warisan dan digunakan untuk komunikasi pada penyimpanan file yang sama. Anda dapat menentukan di mana Python harus menyimpan file, lokasi sementara lebih baik.

• audioPath : jalur ke file audio sementara untuk disimpan saat menggunakan fitur ucapan-ke-teks.
• baseImage : jalur menuju tekstur yang akan dimodifikasi .
• maskPath : jalur ke tekstur topeng sementara yang digunakan selama fitur inpainting.

Fitur

Fitur utama dari proyek ini adalah:

• Pembuatan teks-ke-Skybox.
• Pidato-ke-teks: berbicara secara alami.
• Menggambar dan melukis topeng: dengan bebas memilih dan menggambar ulang elemen.

Adegan

Semua adegan berikut ada di folder Assets/Scenes .

• "Desktop Creator" - Adegan utama untuk pembuatan skybox dalam mode desktop.
• "VR Creator" - Pembuatan Skybox dengan headset VR. Anda juga dapat menggunakannya saat tidak ada headset yang dicolokkan, tetapi ini merupakan fitur debug.

Adegan lainnya adalah untuk menguji tujuan:

• "Pengenalan Ucapan" - Adegan sederhana yang hanya mengintegrasikan ucapan-ke-teks.
• "Experiments Scene" - Adegan yang berisi berbagai eksperimen warisan.

Dokumentasi

Kami menyediakan dokumentasi online, Anda juga dapat mengaksesnya di folder docs/ .

Dokumentasi dibuat dengan DocFX, Anda dapat membuat ulang dengan DocFX.

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

Kedua perintah akan menghasilkan dokumentasi di bawah docs/ .

Fitur warisan

Impor Skybox

Proyek ini memungkinkan impor skybox khusus.

Skybox secara otomatis diimpor ke dalam adegan ketika pemain menekan enter.

Luncurkan adegan:

1. Pertahankan klik kiri untuk mulai menggambar.
2. Gunakan roda gulir untuk mengubah radius area gambar.
3. Gunakan klik kanan untuk menyimpan topeng. Itu disimpan di "Assets/Temp/mask.png" secara default.

Eksperimen Pernapasan untuk Meditasi

Sebagai fitur bonus kecil, proyek ini mencakup eksperimen pernapasan kecil untuk meditasi.

Untuk memulai eksperimen pernapasan:

1. Aktifkan aset pernapasan.
2. Tekan spasi saat menarik napas dan lepaskan saat menarik napas.

Tautan

Anda dapat menemukan repositori publik aktif untuk proyek ini di: https://github.com/HugoFara/speech-to-world-unity-client

Untuk server AI publik resmi: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server.