VRChat_AI_Assistant
1.0.0
OpenAI GPT-4 didukung AI Assistant dengan GUI yang terintegrasi dengan VRChat menggunakan OSC. Program ini saat ini berada dalam status "berfungsi di mesin saya", dan kemungkinan besar tidak akan berfungsi di komputer Anda tanpa banyak penyesuaian. Misalnya, ia mengandalkan VB-Audio VoiceMeeter Banana untuk memutar audio melalui mikrofon. Apa pun yang terjadi, saya mengunggah ini hanya untuk ditampilkan di sini.
Jalankan start_assistant.ps1 atau .bat , yang secara otomatis akan mengaktifkan lingkungan virtual dan memulai program. Jika karena alasan apa pun Anda tidak menggunakan lingkungan virtual, jalankan saja python assistant.py .
Program akan mulai mendengarkan ketika mendeteksi parameter ChatGPT atau ChatGPT_PB dipicu pada avatar Anda. Misalnya, Anda dapat memicunya dari Menu Tindakan, atau menggunakan pasangan Kontak Pengirim/Penerima. Alternatifnya, ketuk dua kali tombol Kontrol Kanan untuk menjalankannya secara manual. Suara ditranskripsi menjadi teks dengan Faster Whisper, yang diteruskan ke OpenAI, dan respons dibacakan dengan Google Cloud TTS atau salah satu sintesis suara 11.ai, Google Terjemahan, atau TTS Default Windows. Teks respons juga dimasukkan ke dalam Kotak Obrolan VRChat.
Perintah sistem dapat dipicu dengan mengucapkan "Sistem" dan nama perintahnya, yang juga akan mengabaikan pengirimannya ke OpenAI.
Salin .env.example ke .env , dapatkan kunci API Anda dari OpenAI dan ElevenLabs, lalu masukkan ke dalam file. Dapatkan file Google Cloud Authentication Anda dan letakkan di direktori proyek, lalu tambahkan jalur ke file tersebut di .env .
Aktifkan lingkungan virtual di folder .venv menggunakan python -m venv venv . Ini dapat dilewati, namun disarankan agar tidak menimbulkan konflik dengan paket yang diinstal secara global. Instal CUDA Toolkit dan cuDNN dan tambahkan folder bin masing-masing ke PATH Anda jika Anda berencana menggunakan GPU. Instal paket Python yang diperlukan yang tercantum di bawah ini menggunakan pip. Dengan dukungan GPU, Anda mungkin perlu menginstal PyTorch versi nightly terbaru, atau menghapus instalasi dan menginstal ulang jika Anda memiliki versi lama yang tidak berfungsi dan/atau tidak dikompilasi dengan dukungan CUDA. Contoh perintah untuk menginstal PyTorch nightly di Windows menggunakan pip dengan dukungan CUDA 11.8 adalah sebagai berikut:
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118
Python 3.8 atau lebih tinggi dengan Pip. Sangat disarankan untuk menggunakan venv.
Ada perubahan besar baru-baru ini pada perpustakaan ElevenLabs, untuk saat ini Anda dapat memaksakan versi lama dengan pip install --force-reinstall "elevenlabs==0.1.1"
Pustaka yang diperlukan: audioop, python-dotenv, Elevenlabs v0.1.1, fast-whisper, ffmpeg, google-cloud-texttospeech, gtts, openai, pynput, python-osc, pyttsx3, dan customtkinter
Kemungkinan besar membutuhkan GPU NVidia. Tidak diuji dengan AMD, tapi saya ragu itu akan berhasil. Dalam hal ini, edit file untuk menggunakan CPU, bukan CUDA. Untuk menggunakan Faster Whisper, Anda memerlukan cuDNN dan CUDA Toolkit 11.8 di PATH. Jika tidak, gunakan OpenAI Whisper atau gunakan inferensi CPU.
File-file berikut perlu disalin dari C:WindowsMedia karena saya tidak dapat mengunggahnya ke Github karena dimiliki oleh Microsoft:
Hak Cipta (c) 2023 HilangNO123. Semua hak dilindungi undang-undang.
Isi repositori ini, termasuk semua kode, dokumentasi, dan materi lainnya, kecuali ditentukan lain, adalah milik eksklusif MissingNO123 dan dilindungi oleh undang-undang hak cipta. Dilarang keras mereproduksi, mendistribusikan, atau mengungkapkan konten repositori ini secara tidak sah, seluruhnya atau sebagian, tanpa izin tertulis dari MissingNO123.
Versi asli Perangkat Lunak ini dibuat pada 17 Maret 2023.
