VR Environment GenAI Unity herunterladen - VR Environment GenAI Unity Quellcode herunterladen

VR Environment GenAI Unity

AI-Quellcode

1.0.0

Herunterladen

Erstellung einer VR-Umgebung durch generative KI, Unity-Client

Dieses Unity-Projekt ist ein Client zum Generieren, Ändern und Erkunden von Umgebungen, die von KI anhand von Sprachanweisungen generiert werden.

Main VR scene

Es verfügt über zwei Hauptszenen, eine für den Desktop und eine für die virtuelle Realität, die es Ihnen ermöglichen, neue Welten zu erkunden. Die Idee dieses Projekts besteht darin, Ihnen den Zugriff auf alle KI-Funktionen einer Anwendung zu ermöglichen und so die Unterbrechungen im Erstellungsprozess zu reduzieren.

Kurzes.komplettes.demo.webm

Das Projekt wurde am Fondation Campus Biotech Geneva (GitHub) in Zusammenarbeit mit dem Laboratory of Cognitive Science (Teil des EPLF) entwickelt.

Installation

Die Installation ist einfach, da wir Standard-Unity-Funktionen verwenden. Hier ist die ausführliche Anleitung.

Laden Sie Unity Editor 2022.3.36+ herunter.
Öffnen Sie das Projekt und Sie sollten Szenen ohne die KI-Funktionen verwenden können.

Die meisten mit OpenXR kompatiblen VR-Headsets sollten sofort funktionieren. Das Projekt wurde mit dem HP Reverb G2 (einem Windows Mixed Reality Headset) entwickelt.

Wenn die XR-Assets nicht funktionieren, können Sie versuchen, sie über den Paketmanager neu zu installieren (Paketmanager -> XR Interaction Toolkit -> Beispiele -> Starter-Assets -> Neu importieren).
Bei Windows Mixed Reality Headsets können Sie auch versuchen, die Plugins erneut zu importieren.

Wichtig

Dies ist nur der Client. Sie benötigen einen laufenden Server, um die KI-Funktionen tatsächlich nutzen zu können! Das Repository zum Ausführen des Servers finden Sie unter: VR-Environment-GenAI-Server.

Verwendung

Dieses Unity-Projekt enthält eine Szene, die von einer KI anhand einer Texteingabe generiert wurde. Die Szene wird dynamisch basierend auf dem Eingabetext erstellt und ermöglicht die Generierung einzigartiger und kreativer Umgebungen.

So generieren Sie eine Szene:

Starten Sie den Python-Server und bearbeiten Sie bei Bedarf die Konfiguration.
Laden Sie die gewünschte Szene. Laden Sie auf dem Desktop die Szene „Desktop Creator“ und in VR die Szene „VR Creator“.
Geben Sie eine Textaufforderung in das Eingabefeld ein. In VR können Sie sprechen, während Sie das Mikrofon halten.
Klicken Sie auf die Schaltfläche „Generieren“.
Beobachten Sie, wie die KI basierend auf Ihrer Textaufforderung eine Szene erstellt. Ein Fortschrittsbalken zeigt die verbleibende Zeit an.

Konfiguration

Für ein reibungsloses Erlebnis müssen Sie möglicherweise einige Konfigurationsparameter festlegen. Die meisten Konfigurationsparameter befinden sich unter Assets/Configurations/api.json .

Falls Sie das Projekt lokal VR und AI auf demselben Computer ausführen (die „Debug“-Konfiguration), sollten Sie Folgendes festlegen.

pythonFallbackApiFile : Dateipfad zur Python-Datei api.json . Diese Datei sollte sich im Stammordner des Python-Projekts befinden.

Wenn Sie eine Verbindung zu einem Remote-Server herstellen möchten, müssen Sie folgende wichtige Funktionen festlegen:

serverDefaultIp : die IP, um den AI-Server zu erreichen (IPv4 bevorzugt).
serverDefaultPort : Standardportnummer des Servers.

Hinweis: Wenn sowohl der Server als auch die Fallback-API-Datei korrekt angegeben sind, wird der Server ignoriert und die Verbindung ist lokal. Sie können den Pfad der Fallback-API-Datei durch einen beliebigen falschen Pfad ersetzen, um dieses Verhalten zu verhindern.

Einige Optionen gelten als veraltet und werden für die Kommunikation auf demselben Dateispeicher verwendet. Sie können angeben, wo Python die Dateien speichern soll. Temporäre Speicherorte sind besser.

audioPath : Der Pfad zur temporären Audiodatei, die bei Verwendung der Speech-to-Text-Funktion gespeichert werden soll.
baseImage : der Pfad zur Textur , die geändert werden soll .
maskPath : Der Pfad zur temporären Maskentextur, die während der Inpainting-Funktion verwendet wird.

Merkmale

Die Hauptmerkmale dieses Projekts sind:

Text-to-Skybox-Generierung.
Speech-to-Text: Sprechen Sie natürlich.
Maskenzeichnen und Inpainting: Elemente frei auswählen und neu zeichnen.

Szenen

Alle folgenden Szenen befinden sich im Ordner Assets/Scenes .

„Desktop Creator“ – Hauptszene für die Skybox-Erstellung im Desktop-Modus.
„VR Creator“ – Skybox-Erstellung mit einem VR-Headset. Sie können es auch verwenden, wenn kein Headset angeschlossen ist, dies ist jedoch eher eine Debug-Funktion.

Die anderen Szenen dienen Testzwecken:

„Spracherkennung“ – Eine einfache Szene, die nur Sprache-zu-Text integriert.
„Experimentszene“ – Eine Szene mit verschiedenen alten Experimenten.

Dokumentation

Wir stellen eine Online-Dokumentation zur Verfügung, Sie können diese auch im Ordner docs/ abrufen.

Die Dokumentation wird mit DocFX generiert, Sie können sie mit DocFX neu generieren.

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

Beide Befehle erzeugen eine Dokumentation unter docs/ .

Legacy-Funktionen

Skybox-Import

Dieses Projekt ermöglicht den Import benutzerdefinierter Skyboxen.

Die Skybox wird automatisch in die Szene importiert, wenn der Spieler die Eingabetaste drückt.

Starten Sie die Szene:

Halten Sie die linke Maustaste gedrückt, um mit dem Zeichnen zu beginnen.
Mit dem Scrollrad können Sie den Radius des Zeichenbereichs ändern.
Klicken Sie mit der rechten Maustaste, um die Maske zu speichern. Es wird standardmäßig unter „Assets/Temp/mask.png“ gespeichert.