VR Environment GenAI Unity

通过 Generative AI、Unity 客户端创建 VR 环境

这个Unity项目是一个客户端，用于根据语音提示生成、修改和探索AI生成的环境。

它具有两个主要场景，一个用于桌面，一个用于虚拟现实，这两个场景都可以让您探索新的世界。该项目的想法是让您从应用程序访问所有人工智能功能，减少创建过程中的中断。

简短完整演示.webm

该项目是在日内瓦生物技术园区基金会 (GitHub) 与认知科学实验室（EPLF 的一部分）合作开发的。

安装

安装很简单，因为我们使用标准 Unity 功能。这是详细指南。

1. 下载 Unity 编辑器 2022.3.36+。
2. 打开项目，您应该能够使用场景，无需 AI 功能。

大多数与 OpenXR 兼容的 VR 耳机应该可以开箱即用。该项目是使用 HP Reverb G2（Windows 混合现实耳机）开发的。

• 如果 XR 资产不起作用，您可以尝试从包管理器重新安装它们（包管理器 -> XR 交互工具包 -> 示例 -> 入门资产 -> 重新导入）。
• 对于 Windows 混合现实耳机，您还可以尝试重新导入插件。

重要的

这只是客户端，您需要一个正在运行的服务器才能真正使用人工智能功能！运行服务器的存储库可以在以下位置找到：VR-Environment-GenAI-Server。

用法

该 Unity 项目具有 AI 根据文本提示生成的场景。场景是根据输入文本动态创建的，并允许生成独特且富有创意的环境。

生成场景：

1. 启动 Python 服务器，并根据需要编辑配置。
2. 加载所需的场景。在桌面上加载“Desktop Creator”场景，以及 VR 中的“VR Creator”场景。
3. 在输入字段中输入文本提示。在 VR 中，您可以拿着麦克风说话。
4. 按“生成”按钮。
5. 观看 AI 根据您的文本提示创建场景。进度条指示剩余时间。

配置

您可能需要设置一些配置参数才能获得流畅的体验。大多数配置参数位于Assets/Configurations/api.json下。

如果您在同一台计算机上本地运行 VR 和 AI 项目（“调试”配置），则应设置以下内容。

• pythonFallbackApiFile ：Python api.json文件的文件路径，该文件应位于 Python 项目的根文件夹中。

如果要连接到远程服务器，需要设置的重要功能：

• serverDefaultIp ：到达 AI 服务器的 IP（首选 IPv4）。
• serverDefaultPort ：服务器默认端口号。

注意：如果服务器和后备 api 文件都正确指定，则服务器将被忽略，连接将是本地连接。您可以将后备 api 文件路径替换为任何错误的路径，以防止出现此行为。

某些选项被视为遗留选项，用于在同一文件存储上进行通信。您可以指定 Python 保存文件的位置，临时位置更好。

• audioPath ：使用语音转文本功能时要保存的临时音频文件的路径。
• baseImage ：将要修改的纹理的路径。
• maskPath ：修复功能期间使用的临时蒙版纹理的路径。

特征

该项目的主要特点是：

• 文本到天空盒的生成。
• 语音转文本：自然说话。
• 遮罩绘制和修复：自由选择和重画元素。

场景

以下所有场景都位于Assets/Scenes文件夹中。

• “Desktop Creator” - 在桌面模式下创建天空盒的主场景。
• “VR Creator” - 使用 VR 耳机创建 Skybox。您也可以在未插入耳机时使用它，但这在很大程度上是一个调试功能。

其他场景用于测试目的：

• “语音识别” - 一个仅集成语音到文本的简单场景。
• “实验场景” - 包含各种遗留实验的场景。

文档

我们提供在线文档，您也可以在docs/文件夹中访问它。

该文档是使用DocFX生成的，您可以使用DocFX重新生成它。

cp README.md Documentation/index.md

# Option 1: Offline, static documentation
docfx Documentation/docfx.json -t statictoc,custom_template

# Option 2: on a web server
docfx Documentation/docfx.json

这两个命令都会在docs/下生成文档。

旧版功能

天空盒导入

该项目允许导入自定义天空盒。

当玩家按下回车键时，天空盒会自动导入到场景中。

启动场景：

1. 保持左键单击开始绘图。
2. 使用滚轮更改绘图区域的半径。
3. 使用右键单击保存蒙版。默认保存在“Assets/Temp/mask.png”中。

冥想呼吸实验

作为一个小奖励功能，该项目包括一个用于冥想的小型呼吸实验。

开始呼吸实验：

1. 启用呼吸资产。
2. 吸气时按下空格键，呼气时松开。

链接

您可以在以下位置找到该项目的活动公共存储库：https://github.com/HugoFara/speech-to-world-unity-client

官方公共AI服务器：https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server。