VRChat_AI_Assistant

VRChat人工智慧助理

OpenAI GPT-4 支援的 AI 助理具有 GUI，可使用 OSC 與 VRChat 整合。該程式目前處於“它可以在我的機器上運行”狀態，如果不進行大量修補，則很可能無法在您的機器上運行。例如，它依賴 VB-Audio VoiceMeeter Banana 透過麥克風播放音訊。不管怎樣，我上傳這個只是為了把它放在這裡。

用法

執行start_assistant.ps1或.bat ，這將自動啟動虛擬環境並啟動程式。如果您出於某種原因不使用虛擬環境，只需執行python assistant.py 。

當程式偵測到您的頭像上觸發了參數ChatGPT或ChatGPT_PB時，它將開始偵聽。例如，您可以從操作選單或使用聯絡人傳送者/接收者對來觸發它。或者，雙擊右 Control 鍵以手動呼叫它。使用 Faster Whisper 將語音轉錄為文本，然後將其轉發到 OpenAI，並使用 Google Cloud TTS 或可選的 11.ai 語音合成、Google Translate 或 Windows Default TTS 之一讀出回應。回應文字也會輸入 VRChat 聊天框。

系統命令可以透過說出「系統」和命令名稱來觸發，這也將繞過將其發送到 OpenAI。

安裝

將.env.example複製到.env ，從 OpenAI 和 ElevenLabs 取得 API 金鑰，並將它們放入檔案中。取得您的 Google Cloud 驗證檔案並將其放入專案目錄中，然後在.env中新增其路徑。

使用python -m venv venv啟動 . .venv資料夾中的虛擬環境。這可以跳過，但建議不要與全域安裝的軟體包衝突。如果您打算使用 GPU，請安裝 CUDA Toolkit 和 cuDNN，並將其各自的bin資料夾新增至您的 PATH 。使用 pip 安裝下面列出的所需 Python 套件。有了 GPU 支持，您可能需要安裝最新的夜間版本的 PyTorch，或者如果您的舊版本無法工作和/或未使用 CUDA 支援進行編譯，則需要卸載並重新安裝。使用支援 CUDA 11.8 的 pip 在 Windows 上安裝 PyTorch nightly 的範例指令如下：

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118

要求

Python 3.8 或更高版本以及 Pip。強烈建議使用 venv。

ElevenLabs 庫最近發生了重大更改，現在您可以使用pip install --force-reinstall "elevenlabs==0.1.1"強制使用舊版本

所需的函式庫：audioop、python-dotenv、elevenlabs v0.1.1、faster-whisper、ffmpeg、google-cloud-texttospeech、gtts、openai、pynput、python-osc、pyttsx3 和 customtkinter

很可能需要 NVidia GPU。沒有經過 AMD 測試，但我懷疑它是否有效。在這種情況下，請編輯該檔案以使用 CPU 而不是 CUDA。要使用 Faster Whisper，您需要在 PATH 中安裝 cuDNN 和 CUDA Toolkit 11.8。否則，請使用 OpenAI Whisper 或使用 CPU 推理。

以下檔案需要從C:WindowsMedia複製，因為我無法將它們上傳到 Github，因為它們歸 Microsoft 所有：

• 語音誤辨識.wav
• 語音關閉.wav
• 語音開啟.wav
• 語音睡眠.wav

版權

版權所有 (c) 2023 MissingNO123。版權所有。

此儲存庫的內容，包括所有程式碼、文件和其他資料，除非另有說明，均為 MissingNO123 的專有財產，並受版權法保護。未經 MissingNO123 明確書面許可，嚴禁未經授權複製、散佈或揭露本儲存庫的全部或部分內容。

該軟體的原始版本於 2023 年 3 月 17 日編寫。