VRChat_AI_Assistant 다운로드 - VRChat_AI_Assistant 소스 코드 다운로드

VRChat_AI_Assistant

기타 소스코드

1.0.0

다운로드

VRChat AI 어시스턴트

OSC를 사용하여 VRChat과 통합되는 GUI를 갖춘 OpenAI GPT-4 기반 AI 어시스턴트. 이 프로그램은 현재 "내 컴퓨터에서 작동합니다" 상태에 있으며, 많은 수정 없이는 귀하의 컴퓨터에서 작동하지 않을 가능성이 높습니다. 예를 들어 VB-Audio VoiceMeeter Banana를 사용하여 마이크를 통해 오디오를 재생합니다. 어쨌든, 여기에 올리려고 이걸 올립니다.

용법

가상 환경을 자동으로 활성화하고 프로그램을 시작하는 start_assistant.ps1 또는 .bat 실행하십시오. 어떤 이유로든 가상 환경을 사용하지 않는 경우 python assistant.py 실행하세요.

프로그램은 ChatGPT 또는 ChatGPT_PB 매개변수가 아바타에서 실행되는 것을 감지하면 청취를 시작합니다. 예를 들어 작업 메뉴에서 또는 연락처 발신자/수신자 쌍을 사용하여 트리거할 수 있습니다. 또는 오른쪽 Control 키를 두 번 탭하여 수동으로 호출할 수도 있습니다. 음성은 OpenAI로 전달되는 Faster Whisper를 사용하여 텍스트로 변환되고, 응답은 Google Cloud TTS 또는 선택적으로 11.ai 음성 합성, Google Translate 또는 Windows 기본 TTS 중 하나를 통해 읽혀집니다. 응답 텍스트는 VRChat Chatbox에도 제공됩니다.

시스템 명령은 "시스템"과 명령 이름을 말하여 트리거할 수 있으며 OpenAI로 전송하는 것을 우회합니다.

설치

.env.example .env 로 복사하고 OpenAI 및 ElevenLabs에서 API 키를 가져와 파일에 넣습니다. Google Cloud 인증 파일을 가져와서 프로젝트 디렉터리에 넣은 다음 .env 에 경로를 추가하세요.

python -m venv venv 사용하여 . .venv 건너뛸 수 있지만 전역으로 설치된 패키지와 충돌하지 않는 것이 좋습니다. GPU를 사용하려는 경우 CUDA 툴킷 및 cuDNN을 설치하고 해당 bin 폴더를 PATH에 추가하세요. pip를 사용하여 아래 나열된 필수 Python 패키지를 설치합니다. GPU 지원을 사용하면 최신 Nightly 버전의 PyTorch를 설치해야 할 수도 있고, 작동하지 않거나 CUDA 지원으로 컴파일되지 않은 이전 버전이 있는 경우 제거했다가 다시 설치해야 할 수도 있습니다. CUDA 11.8을 지원하는 pip를 사용하여 Windows에 야간에 PyTorch를 설치하는 명령의 예는 다음과 같습니다.

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118

요구사항

Pip이 포함된 Python 3.8 이상. venv를 사용하는 것이 좋습니다.

최근 ElevenLabs 라이브러리에 주요 변경 사항이 있었습니다. 이제 pip install --force-reinstall "elevenlabs==0.1.1" 사용하여 이전 버전을 강제로 적용할 수 있습니다.

필수 라이브러리: audioop, python-dotenv, Elevenlabs v0.1.1, fast-whisper, ffmpeg, google-cloud-texttospeech, gtts, openai, pynput, python-osc, pyttsx3 및 customtkinter

NVidia GPU가 필요할 가능성이 높습니다. AMD에서는 테스트되지 않았지만 작동할지는 의문입니다. 이 경우 CUDA 대신 CPU를 사용하도록 파일을 편집하십시오. Faster Whisper를 사용하려면 PATH에 cuDNN과 CUDA Toolkit 11.8이 모두 필요합니다. 그렇지 않으면 OpenAI Whisper를 사용하거나 CPU 추론을 사용하세요.

다음 파일은 Microsoft 소유이므로 Github에 업로드할 수 없으므로 C:WindowsMedia 에서 복사해야 합니다.