VRChat_AI_Assistant
1.0.0
AI Assistant на базе OpenAI GPT-4 с графическим интерфейсом, который интегрируется с VRChat с помощью OSC. Эта программа в настоящее время находится в состоянии «она работает на моей машине» и, скорее всего, не будет работать на вашей без тонны доработок. Например, для воспроизведения звука через микрофон он использует VB-Audio VoiceMeeter Banana. В любом случае, я загружаю это только для того, чтобы оно было здесь.
Запустите start_assistant.ps1 или .bat , что автоматически активирует виртуальную среду и запустит программу. Если вы по какой-либо причине не используете виртуальную среду, просто запустите python assistant.py .
Программа начнет прослушивание, когда обнаружит, что на вашем аватаре срабатывают параметры ChatGPT или ChatGPT_PB . Например, вы можете запустить его либо из меню действий, либо с помощью пары «Отправитель/получатель контакта». Либо дважды коснитесь правой клавиши управления, чтобы вызвать ее вручную. Голос преобразуется в текст с помощью Faster Whisper, который пересылается в OpenAI, а ответ считывается с помощью Google Cloud TTS или, при необходимости, одного из синтезаторов голоса 11.ai, Google Translate или TTS по умолчанию в Windows. Текст ответа также передается в окно чата VRChat.
Системные команды можно активировать, произнеся «Система» и имя команды, что также позволяет обойти ее отправку в OpenAI.
Скопируйте .env.example в .env , получите ключи API от OpenAI и ElevenLabs и поместите их в файл. Получите файл Google Cloud Authentication и поместите его в каталог проекта, затем добавьте путь к нему в .env .
Активируйте виртуальную среду в папке .venv используя python -m venv venv . Это можно пропустить, но рекомендуется не конфликтовать с глобально установленными пакетами. Установите CUDA Toolkit и cuDNN и добавьте соответствующие папки bin в свой PATH, если вы планируете использовать графический процессор. Установите необходимые пакеты Python, перечисленные ниже, с помощью pip. При поддержке графического процессора вам может потребоваться установить последнюю ночную версию PyTorch или удалить и переустановить, если у вас есть старая версия, которая не работает и/или не была скомпилирована с поддержкой CUDA. Пример команды для ночной установки PyTorch в Windows с использованием pip с поддержкой CUDA 11.8 выглядит следующим образом:
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
Python 3.8 или выше с Pip. Настоятельно рекомендуется использовать venv.
Недавно в библиотеку ElevenLabs были внесены критические изменения, сейчас вы можете принудительно использовать старую версию с помощью pip install --force-reinstall "elevenlabs==0.1.1"
Необходимые библиотеки: audioop, python-dotenv, одиннадцатьлабс v0.1.1, fast-whisper, ffmpeg, google-cloud-texttospeech, gtts, openai, pynput, python-osc, pyttsx3 и customtkinter.
Скорее всего, потребуется графический процессор NVidia. С AMD не проверял, но сомневаюсь, что будет работать. В этом случае отредактируйте файл, чтобы использовать ЦП вместо CUDA. Чтобы использовать Faster Whisper, вам нужны как cuDNN, так и CUDA Toolkit 11.8 в PATH. В противном случае используйте OpenAI Whisper или используйте вывод ЦП.
Следующие файлы необходимо скопировать из C:WindowsMedia , поскольку я не могу загрузить их на Github, поскольку они принадлежат Microsoft:
Авторские права (c) 2023. MissingNO123. Все права защищены.
Содержимое этого репозитория, включая весь код, документацию и другие материалы, если не указано иное, является исключительной собственностью MissingNO123 и защищено законом об авторском праве. Несанкционированное воспроизведение, распространение или раскрытие содержимого этого репозитория полностью или частично без письменного разрешения MissingNO123 строго запрещено.
Исходная версия Программного обеспечения была создана 17 марта 2023 года.
