VR Environment GenAI Unity

Generative AI、UnityクライアントによるVR環境構築

この Unity プロジェクトは、音声プロンプトから AI によって生成された環境を生成、変更、探索するためのクライアントです。

デスクトップ用と仮想現実用の 2 つのメイン シーンがあり、どちらも新しい世界を探索できます。このプロジェクトのアイデアは、アプリケーションからすべての AI 機能にアクセスできるようにし、作成プロセスの中断を減らすことです。

Short.complete.demo.webm

このプロジェクトは、認知科学研究所 (EPLF の一部) と協力して、ジュネーブ財団キャンパス バイオテック (GitHub) で開発されました。

インストール

Unity の標準機能を使用するため、インストールは簡単です。詳細なガイドはこちらです。

1. Unity エディター 2022.3.36 以降をダウンロードします。
2. プロジェクトを開くと、AI 機能がなくてもシーンを使用できるはずです。

OpenXR と互換性のあるほとんどの VR ヘッドセットは、箱から出してすぐに動作します。このプロジェクトは、HP Reverb G2 (Windows Mixed Reality ヘッドセット) を使用して開発されました。

• XR アセットが機能しない場合は、パッケージ マネージャーから再インストールしてみてください (パッケージ マネージャー -> XR Interaction Toolkit -> サンプル -> スターター アセット -> 再インポート)。
• Windows Mixed Reality ヘッドセットの場合は、プラグインを再インポートしてみることもできます。

重要

これはクライアントのみです。AI 機能を実際に使用するには、実行中のサーバーが必要です。サーバーを実行するリポジトリは、VR-Environment-GenAI-Server にあります。

使用法

この Unity プロジェクトには、テキスト プロンプトから AI によって生成されたシーンが含まれています。シーンは入力テキストに基づいて動的に作成され、ユニークで創造的な環境を生成できます。

シーンを生成するには:

1. Python サーバーを起動し、必要に応じて構成を編集します。
2. 希望のシーンをロードします。デスクトップでは「Desktop Creator」シーンをロードし、VR では「VR Creator」シーンをロードします。
3. 入力フィールドにテキスト プロンプトを入力します。 VRではマイクを持ったまま話すことができます。
4. 「生成」ボタンを押します。
5. AI がテキスト プロンプトに基づいてシーンを作成する様子を見てください。進行状況バーに残り時間が表示されます。

構成

スムーズに操作するには、いくつかの構成パラメータを設定する必要がある場合があります。ほとんどの構成パラメーターはAssets/Configurations/api.jsonの下にあります。

同じコンピューター上でプロジェクトをローカルで VR と AI を実行している場合 (「デバッグ」構成)、次のように設定する必要があります。

• pythonFallbackApiFile : Python api.jsonファイルへのファイル パス。このファイルは Python プロジェクトのルート フォルダーにある必要があります。

リモート サーバーに接続する場合は、次の重要な機能を設定する必要があります。

• serverDefaultIp : AI サーバーに到達するための IP (IPv4 を推奨)。
• serverDefaultPort : サーバーのデフォルトのポート番号。

注:サーバーとフォールバック API ファイルの両方が正しく指定されている場合、サーバーは無視され、接続はローカルになります。この動作を防ぐために、フォールバック API ファイルのパスを間違ったパスに置き換えることができます。

一部のオプションはレガシーとみなされ、同じファイル ストレージ上の通信に使用されます。 Python がファイルを保存する場所を指定できますが、一時的な場所の方が適しています。

• audioPath : 音声テキスト変換機能を使用するときに保存する一時オーディオ ファイルへのパス。
• baseImage :変更されるテクスチャへのパス。
• maskPath : 修復機能中に使用される一時マスク テクスチャへのパス。

特徴

このプロジェクトの主な特徴は次のとおりです。

• テキストから Skybox への生成。
• 音声合成: 自然に話します。
• マスクの描画と修復: 要素を自由に選択して再描画します。

シーン

次のすべてのシーンは、 Assets/Scenesフォルダーにあります。

• 「デスクトップ クリエーター」 - デスクトップ モードでのスカイボックス作成のメイン シーン。
• 「VR Creator」 - VR ヘッドセットを使用した Skybox の作成。ヘッドセットが接続されていないときにも使用できますが、これはほとんどのデバッグ機能です。

他のシーンは目的をテストするためのものです。

• 「音声認識」 - 音声をテキストに統合するだけの単純なシーン。
• 「実験シーン」 - さまざまなレガシー実験が含まれるシーン。

ドキュメント

オンライン ドキュメントが提供されており、 docs/フォルダーからアクセスすることもできます。

ドキュメントは DocFX で生成され、DocFX で再生成できます。

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

どちらのコマンドでもdocs/下にドキュメントが生成されます。

従来の機能

スカイボックスのインポート

このプロジェクトでは、カスタム スカイボックスのインポートが可能です。

プレイヤーが Enter キーを押すと、スカイボックスが自動的にシーンにインポートされます。

シーンを起動します。

1. 左クリックを維持して描画を開始します。
2. スクロール ホイールを使用して、描画領域の半径を変更します。
3. 右クリックしてマスクを保存します。デフォルトでは「Assets/Temp/mask.png」に保存されます。

瞑想のための呼吸実験

ちょっとしたおまけ機能として、このプロジェクトには瞑想のための小さな呼吸実験が含まれています。

呼吸実験を開始するには:

1. 呼吸アセットを有効にします。
2. 息を吸いながらスペースバーを押し、息を吐きながら放します。

リンク

このプロジェクトのアクティブなパブリック リポジトリは、https://github.com/HugoFara/speech-to-world-unity-client で見つけることができます。

公式パブリック AI サーバーの場合: https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server。