VR Environment GenAI Server

使用生成式 AI、Python 伺服器建立 VR 環境

使用生成式 AI 創建 VR 環境的 Python 專案。您可以將其作為 TCP 伺服器運行，以與 Unity 客戶端連接，以獲得成熟的 AI/VR 應用程式。

這是一個公共檔案，在 HugoFara/speech-to-world-server 上繼續開發！

這是生成式人工智慧建構完整 VR 場景的用例。它是由雨果法拉賈拉 (Hugo FARAJALLAH) 在日內瓦生物技術基金會校園與認知科學實驗室合作開發的。

要求

• Python 3.10.12+
• 相容於 CUDA 的顯示卡和至少 12 GB 的 VRAM。
• 模型的儲存空間高達 15 GB。

安裝

您需要取得Python 3.10和CUDA 12.1（其他版本未經測試）。一旦安裝了需求，該專案就應該可以運行。

以下是詳細的安裝過程：

1. 安裝CUDA 12.1，它可以在GPU上進行運算。
2. 安裝Python 3.10 ，對於 Windows，您可以使用官方安裝程式下載它。
3. 複製或複製此 Git 儲存庫：https://github.com/fcbg-hnp-vr/VR-Environment-GenAI-Server/。
4. 創建Python虛擬環境。雖然不是絕對必要的，但強烈建議這樣做，因為該專案有很多依賴項。例如使用 venv：
   • 在 Linux 上：

    cd VR-Environment-GenAI-Server
   # From https://packaging.python.org/en/latest/guides/installing-using-pip-and-virtual-environments/#create-and-use-virtual-environments
   python -m venv .venv       # Creates the virtual environment under .venv
   source .venv/bin/activate  # Activates it

   • 在 Windows 上：

    cd VR-Environment-GenAI-Server
   # From https://packaging.python.org/en/latest/guides/installing-using-pip-and-virtual-environments/#create-and-use-virtual-environments
   py -m venv .venv        # Creates the virtual environment under .venv
   .venv S cripts a ctivate  # Activates it

5. 安裝 Python 要求。

   pip install -r requirements.txt

   重要提示：在撰寫本文時（2024-07-29），PyTorch 的預設版本與 CUDA 12.1 相容，您可能不需要任何額外的步驟。如果您收到錯誤訊息，告訴您您的 PyTorch 版本與 CUDA 不相容，請完全卸載 PyTorch 並透過執行pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121重新安裝它。請查看 https://pytorch.org/get-started/locally/ 以了解詳細資訊。

從現在開始，該專案應該可以正常運作。下一部分是可選的，但它可以節省您大量時間。

（可選）您可以使用加速來加速影像產生。使用pip install accelerate下載它。

安裝細節

• 第一次啟動模型需要下載，此操作可能需要一些時間，並且需要網路連線。使用部分解釋如何一次下載所有模型。
• 對於 PyCharm 用戶，包含一個.idea資料夾以將該資料夾新增為專案。
• 可選，僅演示：要在 Python (ASR) 中捕獲麥克風的音頻，您需要 ffmpeg、portaudio 和 pyaudio：

  sudo apt install ffmpeg portaudio19-dev python3-pyaudio
  pip install -r requirements-optional.txt # Installs PyAudio 

用法

每個檔案都可以獨立執行，因此它們是與檔案一樣多的入口點。

最常見的用例如下：

• 使用python -m skybox.diffusion產生新圖片。
• 使用python -m utils.download_models下載所有模型。如果您不這樣做，模型將在運行時下載，這可能會非常慢。
• 使用python -m server.run啟動伺服器。

接下來是特殊文件的詳細資訊。

影像生成

轉到skybox資料夾。

1. fusion.py - 從擴散模型建立影像的基本模組。
2. inpainting.py - 實作修復模型。
3. image_processing.py - 定義影像處理功能
4. mask_editor.py - 產生適合影像的遮罩的程式碼邏輯。結果通常傳遞給修復函數。
5. panorama_creator.py - 產生全景圖的程式碼邏輯。
6. skybox/legacy中的程式碼可能沒有用。我出於個人目的將其保留在那裡。

3D功能

3D 功能位於environment資料夾中。截至撰寫本文時（2024 年 6 月），它仍處於積極開發階段，因此以下內容可能會發生變化。

1. height_ Generation.py - 提供一個來自標準 RGB 影像的模型並建立深度圖。
2. point_cloud_pipeline.py - 使用 RGBD 建立點雲，並將其轉換為網格。
3. mesh_pipeline.py - 使用 RGBD 影像和表示特徵來建立地形網格。
4. mask_former.py - RGB 影像的語意分割。
5. image_segmentation.py - 使用 RGBD+語意影像來隔離主要元素。
6. height_inpainting.py - 結合由深度資料控制的修復來重新建立部分地形。但尚未整合到主程式碼庫中。
7. render.py - 建立地形的 3D 視圖，尚未完成。

語音轉文本 (ASR)

對於語音轉文字功能，請前往asr （自動語音辨識）

• voice_to_text.py - 實現自動語音辨識（ASR）模型。
• asr_demo.py - 只是一個演示，您可以使用麥克風或載入資料集

ComfyUI圖形介面

如果您想使用圖形介面而不是 Python 程式碼，可以使用ComfyUI資料夾中提供的 ComfyUI 工作流程。

ComfyUI/README.md 中詳細介紹了每個工作流程。

伺服器

伺服器功能在server中。有關使用的詳細信息，請參閱作為 TCP 伺服器啟動。

• run.py - 啟動 TCP 伺服器，能夠為先前定義的模型提供請求。
• task_tracker.py - 只是一個添加語法糖以輕鬆追蹤任務的類
• utils.py - 伺服器的實用函數。

其他特點

• 作為測試， sound資料夾有一些聲音生成的實驗。
• utils資料夾包含對使用者有用的功能：
  • download_models.py - 下載伺服器有用的模型。它不會下載所有模型。

配置

主要伺服器配置位於api.json中。最重要的設定資料是“serverIp”和“serverPort”，因為它們設定伺服器的位址。

以 TCP 伺服器啟動

可以啟動 TCP 伺服器以便從應用程式執行緒卸載 AI 部分。只要啟動python -m server.run 。伺服器配置在api.json中定義。通訊以 JSON 格式處理，具有很強的 HTTP 風格。

若要從同一網路上的另一台電腦連接到伺服器，您需要開啟一個連接埠。在 Windows 上，您只需前往控制台為連接埠9000新增規則（使用預設配置）。這個 How-To Geek 教程似乎具有足夠的指導意義。在 Linux 上，開啟連接埠更有趣一些，我個人推薦使用具有連接埠重新導向的 nginx。

路線圖

從很遠的角度來看該專案的現狀。

• Skybox產生：v0.4完成，前往skybox/panorama_creator.py
• 地形生成： environment/renderer.py中的早期 3D 地形生成現在不適合生產。
• 道具產生：僅使用廣告牌，因為當前技術不允許實現更大的夢想。

模特兒名單

該項目包括幾個人工神經網路模型。如果您想用一種模型替換另一種模型，您應該充分了解自己正在做什麼，否則最終產品的品質可能會下降。

• 映像建立：Stable Diffusion XL base 1.0 和 Stable Diffusion XL Refiner 1.0。
• 修復與修復：穩定擴散 XL 1.0 修復 0.1。
• 語音轉文本與翻譯：Whisper Large v3。

請查看utils/download_models.py以了解這些模型是從哪裡載入的。

有用的連結

您可以從 VR-Environment-GenAI-Unity (GitHub) 下載官方 Unity 用戶端。如果您正在尋找該專案的活躍公共儲存庫，請造訪 HugoFara/speech-to-world-server。