VRChat_AI_Assistant
1.0.0
OpenAI GPT-4 を搭載した AI アシスタントは、OSC を使用して VRChat と統合する GUI を備えています。このプログラムは現在「私のマシンでは動作する」状態にありますが、かなりの工夫をしないとあなたのマシンでは動作しない可能性が高いです。たとえば、マイク経由でオーディオを再生するには、VB-Audio VoiceMeeter Banana に依存します。いずれにせよ、ここに載せるためだけにこれをアップロードしています。
start_assistant.ps1または.bat実行すると、仮想環境が自動的にアクティブ化され、プログラムが開始されます。何らかの理由で仮想環境を使用していない場合は、 python assistant.py実行してください。
プログラムは、アバターでトリガーされたChatGPTまたはChatGPT_PBパラメーターのいずれかを検出すると、リスニングを開始します。たとえば、アクション メニューから、または連絡先の送信者/受信者のペアを使用してトリガーできます。または、右 Control キーをダブルタップして手動で呼び出します。音声は Faster Whisper でテキストに変換され、OpenAI に転送され、応答は Google Cloud TTS またはオプションで 11.ai 音声合成、Google 翻訳、Windows デフォルト TTS のいずれかで読み上げられます。応答テキストは VRChat チャットボックスにもフィードされます。
システム コマンドは、「システム」とコマンドの名前を言うことでトリガーでき、OpenAI への送信も回避されます。
.env.exampleを.envにコピーし、OpenAI と イレブンラボから API キーを取得して、ファイルに置きます。 Google Cloud 認証ファイルを取得してプロジェクト ディレクトリに置き、そのパスを.envに追加します。
python -m venv venvを使用して、 . .venvこれはスキップできますが、グローバルにインストールされているパッケージと競合しないようにすることをお勧めします。 GPU を使用する場合は、CUDA Toolkit と cuDNN をインストールし、それぞれのbinフォルダーを PATH に追加します。 pip を使用して、以下にリストされている必要な Python パッケージをインストールします。 GPU サポートを使用すると、PyTorch の最新のナイトリー バージョンをインストールするか、古いバージョンが動作しない場合や CUDA サポートでコンパイルされていない場合はアンインストールして再インストールする必要がある場合があります。 CUDA 11.8 サポートの pip を使用して Windows に PyTorch を夜間にインストールするコマンドの例は次のとおりです。
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
Pip を備えた Python 3.8 以降。 venv を使用することを強くお勧めします。
最近、イレブンラボ ライブラリに重大な変更が加えられました。現時点では、 pip install --force-reinstall "elevenlabs==0.1.1"を使用して古いバージョンを強制できます。
必要なライブラリ: audioop、python-dotenv、elevenlabs v0.1.1、faster-whisper、ffmpeg、google-cloud-texttospeech、gtts、openai、pynput、python-osc、pyttsx3、customtkinter
ほとんどの場合、NVidia GPU が必要です。 AMD ではテストされていませんが、動作するとは思えません。その場合は、CUDA ではなく CPU を使用するようにファイルを編集します。 Faster Whisper を使用するには、cuDNN と CUDA Toolkit 11.8 の両方が PATH に必要です。それ以外の場合は、OpenAI Whisper を使用するか、CPU 推論を使用します。
次のファイルは Microsoft が所有しているため Github にアップロードできないため、 C:WindowsMediaからコピーする必要があります。
Copyright (c) 2023 MissingNO123.無断転載を禁じます。
すべてのコード、ドキュメント、その他の資料を含むこのリポジトリの内容は、特に指定がない限り、MissingNO123 の独占的所有物であり、著作権法によって保護されています。 MissingNO123 の書面による明示的な許可がない限り、このリポジトリの内容の全部または一部を無断で複製、配布、または開示することは固く禁じられています。
ソフトウェアのオリジナル バージョンは、2023 年 3 月 17 日に作成されました。
