VRChat_AI_Assistant
1.0.0
OpenAI GPT-4 AI Assistant com uma GUI que se integra ao VRChat usando OSC. Este programa está atualmente no estado "funciona na minha máquina" e provavelmente não funcionará na sua sem muitos ajustes. Por exemplo, ele depende do VB-Audio VoiceMeeter Banana para reproduzir áudio pelo microfone. De qualquer forma, estou enviando isso apenas para tê-lo aqui.
Execute start_assistant.ps1 ou .bat , que ativará automaticamente o ambiente virtual e iniciará o programa. Se por algum motivo você não estiver usando um ambiente virtual, basta executar python assistant.py .
O programa começará a escutar quando detectar que os parâmetros ChatGPT ou ChatGPT_PB foram acionados em seu avatar. Por exemplo, você pode acioná-lo no menu Ação ou usando um par Remetente/Receptor de contato. Alternativamente, toque duas vezes na tecla Right Control para invocá-la manualmente. A voz é transcrita para texto com Faster Whisper, que é encaminhado para OpenAI, e a resposta é lida com Google Cloud TTS ou opcionalmente uma das sínteses de voz 11.ai, Google Translate ou Windows Default TTS. O texto de resposta também é inserido no VRChat Chatbox.
Os comandos do sistema podem ser acionados dizendo “Sistema” e o nome do comando, o que também irá ignorar o envio para OpenAI.
Copie .env.example para .env , obtenha suas chaves de API do OpenAI e do ElevenLabs e coloque-as no arquivo. Obtenha seu arquivo de autenticação do Google Cloud, coloque-o no diretório do projeto e adicione o caminho para ele em .env .
Ative um ambiente virtual na pasta .venv usando python -m venv venv . Isso pode ser ignorado, mas é recomendado para não entrar em conflito com pacotes instalados globalmente. Instale o CUDA Toolkit e o cuDNN e adicione suas respectivas pastas bin ao seu PATH se você planeja usar a GPU. Instale os pacotes Python necessários listados abaixo usando pip. Com suporte de GPU, pode ser necessário instalar a versão noturna mais recente do PyTorch ou desinstalar e reinstalar se tiver uma versão antiga que não funciona e/ou não foi compilada com suporte CUDA. Um exemplo de comando para instalar o PyTorch todas as noites no Windows usando pip com suporte CUDA 11.8 é o seguinte:
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
Python 3.8 ou superior com Pip. Altamente recomendado usar um venv.
Houve alterações recentes na biblioteca ElevenLabs, por enquanto você pode forçar uma versão antiga com pip install --force-reinstall "elevenlabs==0.1.1"
Bibliotecas necessárias: audioop, python-dotenv, elevenlabs v0.1.1, fast-whisper, ffmpeg, google-cloud-texttospeech, gtts, openai, pynput, python-osc, pyttsx3 e customtkinter
Provavelmente requer uma GPU NVidia. Não testei com AMD, mas duvido que funcione. Nesse caso, edite o arquivo para usar CPU em vez de CUDA. Para usar o Faster Whisper, você precisa do cuDNN e do CUDA Toolkit 11.8 no PATH. Caso contrário, use OpenAI Whisper ou inferência de CPU.
Os seguintes arquivos precisam ser copiados de C:WindowsMedia porque não consigo carregá-los no Github porque são propriedade da Microsoft:
Copyright (c) 2023 AusenteNO123. Todos os direitos reservados.
O conteúdo deste repositório, incluindo todo o código, documentação e outros materiais, salvo especificação em contrário, são propriedade exclusiva do MissingNO123 e são protegidos pela lei de direitos autorais. A reprodução, distribuição ou divulgação não autorizada do conteúdo deste repositório, no todo ou em parte, sem a permissão expressa por escrito do MissingNO123 é estritamente proibida.
A versão original do Software foi criada em 17 de março de 2023.
