VRChat_AI_Assistant
1.0.0
Asistente de IA con tecnología OpenAI GPT-4 y una GUI que se integra con VRChat mediante OSC. Este programa se encuentra actualmente en el estado "funciona en mi máquina" y lo más probable es que no funcione en la suya sin muchos retoques. Por ejemplo, se basa en VB-Audio VoiceMeeter Banana para reproducir audio a través del micrófono. De cualquier manera, estoy subiendo esto sólo para tenerlo aquí.
Ejecute start_assistant.ps1 o .bat , lo que activará automáticamente el entorno virtual e iniciará el programa. Si por alguna razón no está utilizando un entorno virtual, simplemente ejecute python assistant.py .
El programa comenzará a escuchar cuando detecte que los parámetros ChatGPT o ChatGPT_PB se activan en su avatar. Por ejemplo, puede activarlo desde el menú Acción o utilizando un par de contacto remitente/receptor. Alternativamente, toque dos veces la tecla Control derecho para invocarla manualmente. La voz se transcribe a texto con Faster Whisper, que se reenvía a OpenAI, y la respuesta se lee con Google Cloud TTS u, opcionalmente, uno de los síntesis de voz 11.ai, Google Translate o Windows Default TTS. El texto de respuesta también se introduce en VRChat Chatbox.
Los comandos del sistema se pueden activar diciendo "Sistema" y el nombre del comando, lo que también evitará enviarlo a OpenAI.
Copie .env.example a .env , obtenga sus claves API de OpenAI y de ElevenLabs y colóquelas en el archivo. Obtenga su archivo de autenticación de Google Cloud y colóquelo en el directorio del proyecto, luego agregue la ruta en .env .
Active un entorno virtual en la carpeta .venv usando python -m venv venv . Esto se puede omitir, pero se recomienda para no entrar en conflicto con los paquetes instalados globalmente. Instale CUDA Toolkit y cuDNN y agregue sus respectivas carpetas bin a su RUTA si planea usar la GPU. Instale los paquetes de Python necesarios que se enumeran a continuación usando pip. Con soporte para GPU, es posible que necesites instalar la última versión nocturna de PyTorch, o desinstalarla y volver a instalarla si tienes una versión antigua que no funciona y/o no fue compilada con soporte CUDA. Un comando de ejemplo para instalar PyTorch todas las noches en Windows usando pip con soporte CUDA 11.8 es el siguiente:
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
Python 3.8 o superior con Pip. Muy recomendable utilizar un venv.
Hubo cambios importantes recientes en la biblioteca de ElevenLabs, por ahora puede forzar una versión anterior con pip install --force-reinstall "elevenlabs==0.1.1"
Bibliotecas requeridas: audioop, python-dotenv, elevenlabs v0.1.1, fast-whisper, ffmpeg, google-cloud-texttospeech, gtts, openai, pynput, python-osc, pyttsx3 y customtkinter
Lo más probable es que requiera una GPU NVidia. No probado con AMD, pero dudo que funcione. En ese caso, edite el archivo para usar CPU en lugar de CUDA. Para usar Faster Whisper, necesita cuDNN y CUDA Toolkit 11.8 en PATH. De lo contrario, utilice OpenAI Whisper o utilice la inferencia de CPU.
Los siguientes archivos deben copiarse desde C:WindowsMedia ya que no puedo cargarlos en Github debido a que son propiedad de Microsoft:
Copyright (c) 2023 MissingNO123. Reservados todos los derechos.
El contenido de este repositorio, incluido todo el código, la documentación y otros materiales, a menos que se especifique lo contrario, es propiedad exclusiva de MissingNO123 y está protegido por la ley de derechos de autor. La reproducción, distribución o divulgación no autorizada del contenido de este repositorio, total o parcial, sin el permiso expreso por escrito de MissingNO123 está estrictamente prohibida.
La versión original del Software fue creada el 17 de marzo de 2023.
