VRChat_AI_Assistant
1.0.0
Assistant AI alimenté par OpenAI GPT-4 avec une interface graphique qui s'intègre à VRChat à l'aide d'OSC. Ce programme est actuellement dans un état « il fonctionne sur ma machine » et ne fonctionnera probablement pas sur la vôtre sans une tonne de bricolage. Par exemple, il s'appuie sur VB-Audio VoiceMeeter Banana pour lire l'audio via le microphone. Quoi qu'il en soit, je télécharge ceci juste pour l'avoir ici.
Exécutez start_assistant.ps1 ou .bat , qui activera automatiquement l'environnement virtuel et démarrera le programme. Si, pour une raison quelconque, vous n'utilisez pas d'environnement virtuel, exécutez simplement python assistant.py .
Le programme commencera à écouter lorsqu'il détectera que les paramètres ChatGPT ou ChatGPT_PB se déclenchent sur votre avatar. Par exemple, vous pouvez le déclencher soit à partir du menu Action, soit à l'aide d'une paire de contacts expéditeur/récepteur. Vous pouvez également appuyer deux fois sur la touche Contrôle droite pour l'appeler manuellement. La voix est transcrite en texte avec Faster Whisper, qui est transmis à OpenAI, et la réponse est lue avec Google Cloud TTS ou éventuellement l'une des synthèses vocales 11.ai, Google Translate ou Windows Default TTS. Le texte de la réponse est également introduit dans la Chatbox VRChat.
Les commandes système peuvent être déclenchées en disant « Système » et le nom de la commande, ce qui contournera également son envoi à OpenAI.
Copiez .env.example dans .env , récupérez vos clés API d'OpenAI et d'ElevenLabs, et placez-les dans le fichier. Obtenez votre fichier d'authentification Google Cloud et placez-le dans le répertoire du projet, puis ajoutez-y le chemin dans .env .
Activez un environnement virtuel dans le dossier .venv à l'aide de python -m venv venv . Cela peut être ignoré, mais il est recommandé de ne pas entrer en conflit avec les packages installés globalement. Installez CUDA Toolkit et cuDNN et ajoutez leurs dossiers bin respectifs à votre PATH si vous prévoyez d'utiliser le GPU. Installez les packages Python requis répertoriés ci-dessous à l'aide de pip. Avec la prise en charge GPU, vous devrez peut-être installer la dernière version nocturne de PyTorch, ou désinstaller et réinstaller si vous disposez d'une ancienne version qui ne fonctionne pas et/ou n'a pas été compilée avec la prise en charge CUDA. Un exemple de commande pour installer PyTorch la nuit sur Windows à l'aide de pip avec la prise en charge de CUDA 11.8 est le suivant :
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
Python 3.8 ou supérieur avec Pip. Fortement recommandé d'utiliser un venv.
Des modifications récentes ont été apportées à la bibliothèque ElevenLabs. Pour l'instant, vous pouvez forcer une ancienne version avec pip install --force-reinstall "elevenlabs==0.1.1"
Bibliothèques requises : audioop, python-dotenv, Elevenlabs v0.1.1, Faster-Whisper, ffmpeg, google-cloud-texttospeech, gtts, openai, pynput, python-osc, pyttsx3 et customtkinter
Nécessite très probablement un GPU NVidia. Pas testé avec AMD, mais je doute que ça marche. Dans ce cas, modifiez le fichier pour utiliser le CPU au lieu de CUDA. Pour utiliser Faster Whisper, vous avez besoin à la fois de cuDNN et de CUDA Toolkit 11.8 dans PATH. Sinon, utilisez OpenAI Whisper ou utilisez l'inférence CPU.
Les fichiers suivants doivent être copiés depuis C:WindowsMedia car je ne peux pas les télécharger sur Github car ils appartiennent à Microsoft :
Copyright (c) 2023 MissingNO123. Tous droits réservés.
Le contenu de ce référentiel, y compris tout le code, la documentation et tout autre matériel, sauf indication contraire, est la propriété exclusive de MissingNO123 et est protégé par la loi sur le droit d'auteur. La reproduction, la distribution ou la divulgation non autorisée du contenu de ce référentiel, en tout ou en partie, sans l'autorisation écrite expresse de MissingNO123 est strictement interdite.
La version originale du logiciel a été créée le 17 mars 2023.
