VR Environment GenAI Server

使用生成式 AI、Python 服务器创建 VR 环境

一个使用生成式 AI 创建 VR 环境的 Python 项目。您可以将其作为 TCP 服务器运行，以与 Unity 客户端连接，以获得成熟的 AI/VR 应用程序。

这是一个公共档案，在 HugoFara/speech-to-world-server 上继续开发！

这是生成式人工智能构建完整 VR 场景的用例。它是由雨果·法拉贾拉 (Hugo FARAJALLAH) 在日内瓦生物技术基金会校园与认知科学实验室合作开发的。

要求

• Python 3.10.12+
• 兼容 CUDA 的显卡和至少 12 GB 的 VRAM。
• 模型的存储空间高达 15 GB。

安装

您需要获取Python 3.10和CUDA 12.1（其他版本未经测试）。一旦安装了需求，该项目就应该可以运行。

下面是详细的安装过程：

1. 安装CUDA 12.1，它可以在GPU上进行计算。
2. 安装Python 3.10 ，对于 Windows，您可以使用官方安装程序下载它。
3. 克隆或复制此 Git 存储库：https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server/。
4. 创建Python虚拟环境。虽然不是绝对必要的，但强烈建议这样做，因为该项目有很多依赖项。例如使用 venv：
   • 在 Linux 上：

    cd VR-Environment-GenAI-Server
   # From https://packaging.python.org/en/latest/guides/installing-using-pip-and-virtual-environments/#create-and-use-virtual-environments
   python -m venv .venv       # Creates the virtual environment under .venv
   source .venv/bin/activate  # Activates it

   • 在 Windows 上：

    cd VR-Environment-GenAI-Server
   # From https://packaging.python.org/en/latest/guides/installing-using-pip-and-virtual-environments/#create-and-use-virtual-environments
   py -m venv .venv        # Creates the virtual environment under .venv
   .venv S cripts a ctivate  # Activates it

5. 安装 Python 要求。

   pip install -r requirements.txt

   重要提示：在撰写本文时（2024-07-29），PyTorch 的默认版本与 CUDA 12.1 兼容，您可能不需要任何额外的步骤。如果您收到错误消息，告诉您您的 PyTorch 版本与 CUDA 不兼容，请完全卸载 PyTorch 并通过运行pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121重新安装它。请查看 https://pytorch.org/get-started/locally/ 了解详细信息。

从现在开始，该项目应该可以正常运行。下一部分是可选的，但它可以节省您大量时间。

（可选）您可以使用加速来加速图像生成。使用pip install accelerate下载它。

安装细节

• 第一次启动模型需要下载，此操作可能需要一些时间，并且需要互联网连接。使用部分解释了如何一次下载所有模型。
• 对于 PyCharm 用户，包含一个.idea文件夹以将该文件夹添加为项目。
• 可选，仅演示：要在 Python (ASR) 中捕获麦克风的音频，您需要 ffmpeg、portaudio 和 pyaudio：

  sudo apt install ffmpeg portaudio19-dev python3-pyaudio
  pip install -r requirements-optional.txt # Installs PyAudio 

用法

每个文件都可以独立执行，因此它们是与文件一样多的入口点。

最常见的用例如下：

• 使用python -m skybox.diffusion生成新图像。
• 使用python -m utils.download_models下载所有模型。如果您不这样做，模型将在运行时下载，这可能会非常慢。
• 使用python -m server.run启动服务器。

接下来是特殊文件的详细信息。

图像生成

转到skybox文件夹。

1. fusion.py - 从扩散模型创建图像的基本模块。
2. inpainting.py - 实现修复模型。
3. image_processing.py - 定义图像处理功能
4. mask_editor.py - 生成适合图像的掩码的代码逻辑。结果通常传递给修复函数。
5. panorama_creator.py - 生成全景图的代码逻辑。
6. skybox/legacy中的代码可能没有用。我出于个人目的将其保留在那里。

3D功能

3D 功能位于environment文件夹中。截至撰写本文时（2024 年 6 月），它仍处于积极开发阶段，因此以下内容可能会发生变化。

1. height_ Generation.py - 提供一个来自标准 RGB 图像的模型并创建深度图。
2. point_cloud_pipeline.py - 使用 RGBD 创建点云，并将其转换为网格。
3. mesh_pipeline.py - 使用 RGBD 图像和表示特征来创建地形网格。
4. mask_former.py - RGB 图像的语义分割。
5. image_segmentation.py - 使用 RGBD+语义图像来隔离主要元素。
6. height_inpainting.py - 结合由深度数据控制的修复来重新创建部分地形。但尚未集成到主代码库中。
7. render.py - 创建地形的 3D 视图，尚未完成。

语音转文本 (ASR)

对于语音转文本功能，请转到asr （自动语音识别）

• voice_to_text.py - 实现自动语音识别（ASR）模型。
• asr_demo.py - 只是一个演示，您可以使用麦克风或加载数据集

ComfyUI图形界面

如果您想使用图形界面而不是 Python 代码，可以使用ComfyUI文件夹中提供的 ComfyUI 工作流程。

ComfyUI/README.md 中详细介绍了每个工作流程。

服务器

服务器功能在server中。有关使用的详细信息，请参阅作为 TCP 服务器启动。

• run.py - 启动一个 TCP 服务器，能够为先前定义的模型提供请求。
• task_tracker.py - 只是一个添加语法糖以轻松跟踪任务的类
• utils.py - 服务器的实用函数。

其他特点

• 作为测试， sound文件夹有一些声音生成的实验。
• utils文件夹包含对用户有用的功能：
  • download_models.py - 下载服务器有用的模型。它不会下载所有模型。

配置

主要服务器配置位于api.json中。最重要的配置数据是“serverIp”和“serverPort”，因为它们设置服务器的地址。

作为 TCP 服务器启动

可以启动 TCP 服务器以便从应用程序线程卸载 AI 部分。只需启动python -m server.run 。服务器配置在api.json中定义。通信以 JSON 格式处理，具有很强的 HTTP 风格。

要从同一网络上的另一台计算机连接到服务器，您需要打开一个端口。在 Windows 上，您只需转到控制面板为端口9000添加新规则（使用默认配置）。这个 How-To Geek 教程似乎具有足够的指导意义。在 Linux 上，打开端口更有趣一些，我个人推荐使用带有端口重定向的 nginx。

路线图

从很远的角度来看该项目的现状。

• Skybox生成：v0.4完成，转到skybox/panorama_creator.py
• 地形生成： environment/renderer.py中的早期 3D 地形生成现在不适合生产。
• 道具生成：仅使用广告牌，因为当前技术不允许实现更大的梦想。

模特名单

该项目包括几个人工神经网络模型。如果您想用一种模型替换另一种模型，您应该充分了解自己正在做什么，否则最终产品的质量可能会下降。

• 图像创建：Stable Diffusion XL base 1.0 和 Stable Diffusion XL Refiner 1.0。
• 修复和修复：稳定扩散 XL 1.0 修复 0.1。
• 语音转文本和翻译：Whisper Large v3。

请查看utils/download_models.py以了解这些模型是从哪里加载的。

有用的链接

您可以从 VR-Environment-GenAI-Unity (GitHub) 下载官方 Unity 客户端。如果您正在寻找该项目的活跃公共存储库，请访问 HugoFara/speech-to-world-server。