VRChat_AI_Assistant
1.0.0
OpenAI GPT-4-basierter KI-Assistent mit einer GUI, die sich über OSC in VRChat integrieren lässt. Dieses Programm befindet sich derzeit im Status „Es funktioniert auf meinem Computer“ und wird höchstwahrscheinlich nicht auf Ihrem Computer funktionieren, ohne viel herumzubasteln. Es nutzt beispielsweise VB-Audio VoiceMeeter Banana, um Audio über das Mikrofon abzuspielen. Wie auch immer, ich lade es hoch, nur um es hier oben zu haben.
Führen Sie entweder start_assistant.ps1 oder .bat aus, wodurch die virtuelle Umgebung automatisch aktiviert und das Programm gestartet wird. Wenn Sie aus irgendeinem Grund keine virtuelle Umgebung verwenden, führen Sie einfach python assistant.py aus.
Das Programm beginnt mit dem Abhören, wenn es erkennt, dass entweder die Parameter ChatGPT oder ChatGPT_PB auf Ihrem Avatar ausgelöst werden. Sie können es beispielsweise entweder über das Aktionsmenü oder über ein Kontakt-Sender/Empfänger-Paar auslösen. Alternativ können Sie auch zweimal auf die rechte Steuerungstaste tippen, um sie manuell aufzurufen. Sprache wird mit Faster Whisper in Text transkribiert, der an OpenAI weitergeleitet wird, und die Antwort wird mit Google Cloud TTS oder optional einer von 11.ai-Sprachsynthese, Google Translate oder Windows Default TTS vorgelesen. Der Antworttext wird auch in die VRChat Chatbox eingespeist.
Systembefehle können ausgelöst werden, indem man „System“ und den Namen des Befehls sagt, wodurch auch das Senden an OpenAI umgangen wird.
Kopieren Sie .env.example nach .env , holen Sie sich Ihre API-Schlüssel von OpenAI und von ElevenLabs und fügen Sie sie in die Datei ein. Holen Sie sich Ihre Google Cloud-Authentifizierungsdatei, legen Sie sie im Projektverzeichnis ab und fügen Sie dann den Pfad dazu in .env hinzu.
Aktivieren Sie eine virtuelle Umgebung im Ordner .venv mit python -m venv venv . Dies kann übersprungen werden, wird jedoch empfohlen, um keinen Konflikt mit global installierten Paketen zu verursachen. Installieren Sie CUDA Toolkit und cuDNN und fügen Sie die jeweiligen bin -Ordner zu Ihrem PATH hinzu, wenn Sie die GPU verwenden möchten. Installieren Sie die unten aufgeführten erforderlichen Python-Pakete mit pip. Bei GPU-Unterstützung müssen Sie möglicherweise die neueste Nightly-Version von PyTorch installieren oder deinstallieren und neu installieren, wenn Sie eine alte Version haben, die nicht funktioniert und/oder nicht mit CUDA-Unterstützung kompiliert wurde. Ein Beispielbefehl für die nächtliche Installation von PyTorch unter Windows mithilfe von pip mit CUDA 11.8-Unterstützung lautet wie folgt:
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
Python 3.8 oder höher mit Pip. Es wird dringend empfohlen, ein Venv zu verwenden.
Es gab kürzlich wichtige Änderungen an der ElevenLabs-Bibliothek. Derzeit können Sie eine alte Version mit pip install --force-reinstall "elevenlabs==0.1.1" erzwingen.
Erforderliche Bibliotheken: Audioop, Python-Dotenv, Elevenlabs v0.1.1, Faster-Whisper, ffmpeg, Google-Cloud-Texttospeech, GTTs, OpenAI, Pynput, Python-OSC, Pyttsx3 und Customtkinter
Erfordert höchstwahrscheinlich eine NVidia-GPU. Nicht mit AMD getestet, aber ich bezweifle, dass es funktionieren wird. Bearbeiten Sie in diesem Fall die Datei so, dass sie CPU anstelle von CUDA verwendet. Um Faster Whisper verwenden zu können, benötigen Sie sowohl cuDNN als auch CUDA Toolkit 11.8 in PATH. Andernfalls verwenden Sie OpenAI Whisper oder CPU-Inferenz.
Die folgenden Dateien müssen von C:WindowsMedia kopiert werden, da ich sie nicht auf Github hochladen kann, da sie Eigentum von Microsoft sind:
Copyright (c) 2023 MissingNO123. Alle Rechte vorbehalten.
Der Inhalt dieses Repositorys, einschließlich des gesamten Codes, der Dokumentation und anderer Materialien, ist, sofern nicht anders angegeben, ausschließliches Eigentum von MissingNO123 und urheberrechtlich geschützt. Die unbefugte Vervielfältigung, Verbreitung oder Offenlegung des Inhalts dieses Repositorys ganz oder teilweise ohne die ausdrückliche schriftliche Genehmigung von MissingNO123 ist strengstens untersagt.
Die Originalversion der Software wurde am 17. März 2023 erstellt.
