VR Environment GenAI Server

Pembuatan Lingkungan VR dengan AI Generatif, Server Python

Proyek Python untuk menciptakan lingkungan VR menggunakan AI Generatif. Anda dapat menjalankannya sebagai server TCP untuk menghubungkannya dengan klien Unity, untuk mendapatkan aplikasi AI/VR yang lengkap.

Ini adalah arsip publik, pengembangan berlanjut di HugoFara/speech-to-world-server!

Ini adalah kasus penggunaan AI generatif untuk membangun pemandangan VR yang lengkap. Ini dikembangkan di Fondation Campus Biotech Jenewa, bekerja sama dengan Laboratorium Ilmu Kognitif, oleh Hugo FARAJALLAH.

Persyaratan

• Python 3.10.12+
• Kartu grafis yang kompatibel dengan CUDA dan VRAM minimal 12 GB.
• Penyimpanan hingga 15 GB untuk model.

Instalasi

Anda perlu mendapatkan Python 3.10 dan CUDA 12.1 (versi lain belum teruji). Setelah persyaratan diinstal, proyek akan berjalan.

Berikut adalah prosedur instalasi terperinci:

1. Instal CUDA 12.1, ini memungkinkan komputasi pada GPU.
2. Instal Python 3.10 , untuk Windows Anda dapat mendownloadnya menggunakan installer resmi.
3. Kloning atau salin repositori Git ini: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server/.
4. Buat lingkungan virtual Python. Meskipun tidak sepenuhnya diperlukan, ini sangat disarankan karena proyek ini memiliki banyak ketergantungan. Misalnya menggunakan venv:
   • Di Linux:

    cd VR-Environment-GenAI-Server
   # From https://packaging.python.org/en/latest/guides/installing-using-pip-and-virtual-environments/#create-and-use-virtual-environments
   python -m venv .venv       # Creates the virtual environment under .venv
   source .venv/bin/activate  # Activates it

   • Di Windows:

    cd VR-Environment-GenAI-Server
   # From https://packaging.python.org/en/latest/guides/installing-using-pip-and-virtual-environments/#create-and-use-virtual-environments
   py -m venv .venv        # Creates the virtual environment under .venv
   .venv S cripts a ctivate  # Activates it

5. Instal persyaratan Python.

   pip install -r requirements.txt

   Penting : pada saat penulisan (29-07-2024) versi default PyTorch kompatibel dengan CUDA 12.1, dan Anda mungkin tidak memerlukan langkah tambahan apa pun. Jika Anda menerima pesan kesalahan yang memberitahukan bahwa versi PyTorch Anda tidak kompatibel dengan CUDA, hapus instalan PyTorch sepenuhnya dan instal ulang dengan menjalankan pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 . Silakan lihat di https://pytorch.org/get-started/locally/ untuk detailnya.

Mulai saat ini, proyek harus berfungsi. Bagian selanjutnya bersifat opsional, tetapi dapat menghemat banyak waktu.

(opsional) Anda dapat mempercepat pembuatan gambar menggunakan akselerasi. Unduh dengan pip install accelerate .

Detail instalasi

• Pertama kali model diluncurkan perlu diunduh, operasi ini mungkin memerlukan waktu, dan Anda memerlukan koneksi internet. Bagian Penggunaan menjelaskan cara mengunduh semua model sekaligus.
• Untuk pengguna PyCharm, folder .idea disertakan untuk menambahkan folder tersebut sebagai proyek.
• Opsional, hanya demo: untuk menangkap audio dari mikrofon dengan Python (ASR), Anda memerlukan ffmpeg, portaudio, dan pyaudio:

  sudo apt install ffmpeg portaudio19-dev python3-pyaudio
  pip install -r requirements-optional.txt # Installs PyAudio 

Penggunaan

Setiap file dapat dieksekusi secara independen, sehingga titik masuknya sama banyaknya dengan file.

Kasus penggunaan yang paling umum adalah sebagai berikut:

• Hasilkan gambar baru dengan python -m skybox.diffusion .
• Unduh semua model dengan python -m utils.download_models . Jika Anda tidak melakukannya, model akan diunduh saat run time yang mungkin sangat lambat.
• Mulai server dengan python -m server.run .

Berikutnya adalah detail untuk file khusus.

Pembuatan gambar

Masuk ke folder skybox .

1. diffusion.py - modul dasar untuk membuat gambar dari model difusi.
2. inpainting.py - mengimplementasikan model inpainting.
3. image_processing.py - mendefinisikan fitur pemrosesan gambar
4. mask_editor.py - logika kode untuk menghasilkan topeng yang disesuaikan dengan gambar. Hasilnya biasanya diteruskan ke fungsi inpainting.
5. panorama_creator.py - kode logika untuk menghasilkan panorama.
6. Kode di skybox/legacy mungkin tidak berguna. Saya menyimpannya di sana untuk keperluan pribadi.

fitur 3D

Fitur 3D ada di folder environment . Ini masih dalam pengembangan aktif pada saat penulisan ini (Juni 2024), oleh karena itu hal-hal berikut ini dapat berubah.

1. depth_generasi.py - menyediakan model yang berasal dari gambar RGB standar dan membuat peta kedalaman.
2. point_cloud_pipeline.py - menggunakan RGBD untuk membuat titik cloud, dan mengubahnya menjadi mesh.
3. mesh_pipeline.py - menggunakan gambar RGBD dan fitur representasi untuk membuat mesh medan.
4. mask_former.py - segmentasi semantik gambar RGB.
5. image_segmentation.py - menggunakan gambar semantik RGBD+ untuk mengisolasi elemen utama.
6. depth_inpainting.py - menggabungkan inpainting yang dikontrol oleh data kedalaman untuk membuat ulang bagian medan. Namun belum terintegrasi dalam basis kode utama.
7. render.py - membuat tampilan 3D untuk medan, belum selesai.

Ucapan-ke-teks (ASR)

Untuk fitur ucapan ke teks, buka asr (pengenalan ucapan otomatis)

• pidato_to_text.py - mengimplementasikan model Pengenalan Ucapan Otomatis (ASR).
• asr_demo.py - sekadar demo, Anda dapat menggunakan mikrofon atau memuat kumpulan data

Antarmuka grafis UI yang nyaman

Jika Anda ingin menggunakan antarmuka grafis alih-alih kode Python, Anda dapat menggunakan alur kerja ComfyUI yang disediakan di folder ComfyUI .

Penjelasan untuk setiap alur kerja dirinci di ComfyUI/README.md.

pelayan

Fitur server ada di server . Lihat Mulai sebagai server TCP untuk detail penggunaan.

• run.py - memulai server TCP, mampu melayani permintaan ke model yang ditentukan sebelumnya.
• task_tracker.py - Hanya kelas yang menambahkan suger sintaksis untuk melacak tugas dengan mudah
• utils.py - Fungsi utilitas untuk server.

Fitur Lainnya

• Sebagai pengujian, folder sound melakukan beberapa eksperimen dengan pembuatan suara.
• Folder utils berisi fungsi-fungsi yang berguna bagi pengguna:
  • download_models.py - mengunduh model yang berguna untuk server. Itu tidak mengunduh semua model.

Konfigurasi

Konfigurasi server utama ada di api.json . Data konfigurasi yang paling signifikan adalah "serverIp" dan "serverPort" karena keduanya menetapkan alamat server.

Mulai sebagai server TCP

Server TCP dapat dimulai untuk melepas bagian AI dari thread aplikasi. Luncurkan saja python -m server.run . Konfigurasi server ditentukan di api.json . Komunikasi ditangani dalam format JSON, dengan gaya HTTP yang kuat.

Untuk terhubung ke server dari komputer lain di jaringan yang sama, Anda perlu membuka port. Di Windows, Anda hanya perlu masuk ke panel kontrol dan menambahkan aturan baru untuk port 9000 (dengan konfigurasi default). Tutorial How-To Geek ini sepertinya cukup membimbing. Di Linux, membuka port sedikit lebih menyenangkan, saya pribadi merekomendasikan menggunakan nginx dengan pengalihan port.

Peta jalan

Status proyek saat ini, dari sudut pandang yang sangat jauh.

• Pembuatan Skybox : v0.4 selesai, buka skybox/panorama_creator.py
• Pembuatan medan : Pembuatan medan 3D awal di environment/renderer.py tidak cocok untuk produksi saat ini.
• Pembuatan alat peraga : gunakan papan reklame hanya karena teknologi saat ini tidak memungkinkan untuk bermimpi lebih besar.

Daftar model

Proyek ini mencakup beberapa model jaringan saraf tiruan. Jika Anda ingin mengganti suatu model dengan model lain, Anda harus memiliki pengetahuan yang baik tentang apa yang Anda lakukan, jika tidak, kualitas produk akhir dapat menurun.

• Pembuatan gambar : Basis Difusi Stabil XL 1.0 dan penghalus XL Difusi Stabil 1.0.
• Pengecatan dan pengecatan luar : Difusi Stabil XL 1.0 Pengecatan 0.1.
• Pidato-ke-teks dan terjemahan : Whisper Large v3.

Silakan lihat utils/download_models.py untuk melihat dari mana model tersebut dimuat.

Tautan Berguna

Anda dapat mengunduh klien Unity resmi dari VR-Environment-GenAI-Unity (GitHub). Jika Anda mencari repositori publik aktif dari proyek ini, kunjungi HugoFara/speech-to-world-server.