VR Environment GenAI Unity

透過 Generative AI、Unity 用戶端創建 VR 環境

這個Unity專案是一個客戶端，用於根據語音提示產生、修改和探索AI生成的環境。

它有兩個主要場景，一個用於桌面，一個用於虛擬現實，這兩個場景都可以讓您探索新的世界。該專案的想法是讓您從應用程式存取所有人工智慧功能，減少創建過程中的中斷。

簡短完整演示.webm

該計畫是在日內瓦生物技術園區基金會 (GitHub) 與認知科學實驗室（EPLF 的一部分）合作開發的。

安裝

安裝很簡單，因為我們使用標準 Unity 功能。這是詳細指南。

1. 下載 Unity 編輯器 2022.3.36+。
2. 開啟項目，您應該能夠使用場景，無需 AI 功能。

大多數與 OpenXR 相容的 VR 耳機應該可以開箱即用。該專案是使用 HP Reverb G2（Windows 混合實境耳機）開發的。

• 如果 XR 資產不起作用，您可以嘗試從套件管理器重新安裝它們（套件管理器 -> XR 互動工具包 -> 範例 -> 入門資產 -> 重新匯入）。
• 對於 Windows 混合實境耳機，您也可以嘗試重新匯入插件。

重要的

這只是客戶端，您需要一個正在運行的伺服器才能真正使用人工智慧功能！運行伺服器的儲存庫可以在以下位置找到：VR-Environment-GenAI-Server。

用法

此 Unity 專案具有 AI 根據文字提示產生的場景。場景是根據輸入文字動態創建的，並允許生成獨特且富有創意的環境。

生成場景：

1. 啟動 Python 伺服器，並根據需要編輯配置。
2. 載入所需的場景。在桌面上載入「Desktop Creator」場景，以及 VR 中的「VR Creator」場景。
3. 在輸入欄位中輸入文字提示。在 VR 中，您可以拿著麥克風說話。
4. 按下“生成”按鈕。
5. 觀看 AI 會根據您的文字提示建立場景。進度條指示剩餘時間。

配置

您可能需要設定一些配置參數才能獲得流暢的體驗。大多數配置參數位於Assets/Configurations/api.json下。

如果您在同一台電腦上本機執行 VR 和 AI 專案（「偵錯」配置），則應設定以下內容。

• pythonFallbackApiFile ：Python api.json檔案的檔案路徑，該檔案應位於 Python 專案的根資料夾中。

如果要連接到遠端伺服器，需要設定的重要功能：

• serverDefaultIp ：到達 AI 伺服器的 IP（首選 IPv4）。
• serverDefaultPort ：伺服器預設連接埠號碼。

注意：如果伺服器和後備 api 檔案都正確指定，則伺服器將被忽略，連線將是本機連線。您可以將後備 api 檔案路徑替換為任何錯誤的路徑，以防止此行為。

某些選項被視為遺留選項，用於在同一文件儲存上進行通訊。您可以指定 Python 儲存檔案的位置，臨時位置更好。

• audioPath ：使用語音轉文字功能時要儲存的暫存音訊檔案的路徑。
• baseImage ：將要修改的紋理的路徑。
• maskPath ：修正功能期間所使用的臨時遮罩紋理的路徑。

特徵

該項目的主要特點是：

• 文字到天空盒的生成。
• 語音轉文字：自然說話。
• 遮罩繪製和修復：自由選擇和重畫元素。

場景

以下所有場景都位於Assets/Scenes資料夾中。

• “Desktop Creator” - 在桌面模式下建立天空盒的主場景。
• “VR Creator” - 使用 VR 耳機創建 Skybox。您也可以在未插入耳機時使用它，但這在很大程度上是一個調試功能。

其他場景用於測試目的：

• 「語音辨識」 - 一個僅整合語音到文字的簡單場景。
• 「實驗場景」 - 包含各種遺留實驗的場景。

文件

我們提供線上文檔，您也可以在docs/資料夾中存取它。

該文件是使用DocFX產生的，您可以使用DocFX重新產生它。

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

這兩個指令都會在docs/下產生文件。

舊版功能

天空盒導入

此專案允許導入自訂天空盒。

當玩家按下回車鍵時，天空盒會自動匯入到場景中。

啟動場景：

1. 保持左鍵點選開始繪圖。
2. 使用滾輪更改繪圖區域的半徑。
3. 使用右鍵點選儲存蒙版。預設儲存在“Assets/Temp/mask.png”中。

冥想呼吸實驗

作為一個小獎勵功能，該項目包括一個用於冥想的小型呼吸實驗。

開始呼吸實驗：

1. 啟用呼吸資產。
2. 吸氣時按下空白鍵，呼氣時放開。

連結

您可以在以下位置找到該專案的活動公共儲存庫：https://github.com/HugoFara/speech-to-world-unity-client

官方公共AI伺服器：https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server。