VRChat_AI_Assistant

VRChat人工智能助手

OpenAI GPT-4 支持的 AI 助手具有 GUI，可使用 OSC 与 VRChat 集成。该程序目前处于“它可以在我的机器上运行”状态，并且如果不进行大量修补，很可能无法在您的机器上运行。例如，它依赖 VB-Audio VoiceMeeter Banana 通过麦克风播放音频。不管怎样，我上传这个只是为了把它放在这里。

用法

运行start_assistant.ps1或.bat ，这将自动激活虚拟环境并启动程序。如果您出于某种原因不使用虚拟环境，只需运行python assistant.py 。

当程序检测到您的头像上触发了参数ChatGPT或ChatGPT_PB时，它将开始侦听。例如，您可以从操作菜单或使用联系人发送者/接收者对来触发它。或者，双击右 Control 键以手动调用它。使用 Faster Whisper 将语音转录为文本，然后将其转发到 OpenAI，并使用 Google Cloud TTS 或可选的 11.ai 语音合成、Google Translate 或 Windows Default TTS 之一读出响应。响应文本也会输入 VRChat 聊天框。

系统命令可以通过说出“系统”和命令名称来触发，这也将绕过将其发送到 OpenAI。

安装

将.env.example复制到.env ，从 OpenAI 和 ElevenLabs 获取 API 密钥，并将它们放入文件中。获取您的 Google Cloud 身份验证文件并将其放入项目目录中，然后在.env中添加其路径。

使用python -m venv venv激活 . .venv文件夹中的虚拟环境。这可以跳过，但建议不要与全局安装的软件包冲突。如果您打算使用 GPU，请安装 CUDA Toolkit 和 cuDNN，并将其各自的bin文件夹添加到您的 PATH 中。使用 pip 安装下面列出的所需 Python 包。有了 GPU 支持，您可能需要安装最新的夜间版本的 PyTorch，或者如果您的旧版本无法工作和/或未使用 CUDA 支持进行编译，则需要卸载并重新安装。使用支持 CUDA 11.8 的 pip 在 Windows 上安装 PyTorch nightly 的示例命令如下：

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118

要求

Python 3.8 或更高版本以及 Pip。强烈建议使用 venv。

ElevenLabs 库最近发生了重大更改，现在您可以使用pip install --force-reinstall "elevenlabs==0.1.1"强制使用旧版本

所需的库：audioop、python-dotenv、elevenlabs v0.1.1、faster-whisper、ffmpeg、google-cloud-texttospeech、gtts、openai、pynput、python-osc、pyttsx3 和 customtkinter

很可能需要 NVidia GPU。没有经过 AMD 测试，但我怀疑它是否有效。在这种情况下，请编辑该文件以使用 CPU 而不是 CUDA。要使用 Faster Whisper，您需要在 PATH 中安装 cuDNN 和 CUDA Toolkit 11.8。否则，请使用 OpenAI Whisper 或使用 CPU 推理。

以下文件需要从C:WindowsMedia复制，因为我无法将它们上传到 Github，因为它们归 Microsoft 所有：

• 语音误识别.wav
• 语音关闭.wav
• 语音打开.wav
• 语音睡眠.wav

版权

版权所有 (c) 2023 MissingNO123。版权所有。

该存储库的内容，包括所有代码、文档和其他材料，除非另有说明，均为 MissingNO123 的专有财产，并受版权法保护。未经 MissingNO123 明确书面许可，严禁未经授权复制、分发或披露本存储库的全部或部分内容。

该软件的原始版本于 2023 年 3 月 17 日编写。