หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ผู้ช่วย VRChat AI

OpenAI GPT-4 ขับเคลื่อน AI Assistant พร้อม GUI ที่ทำงานร่วมกับ VRChat โดยใช้ OSC ขณะนี้โปรแกรมนี้อยู่ในสถานะ "ใช้งานได้บนเครื่องของฉัน" และส่วนใหญ่จะใช้งานไม่ได้กับเครื่องของคุณหากไม่มีการซ่อมแซมอะไรมากมาย ตัวอย่างเช่น ใช้ VB-Audio VoiceMeeter Banana ในการเล่นเสียงผ่านไมโครโฟน ไม่ว่าจะด้วยวิธีใดก็ตาม ฉันกำลังอัปโหลดสิ่งนี้เพื่อให้มีไว้ที่นี่

การใช้งาน

เรียกใช้ start_assistant.ps1 หรือ .bat ซึ่งจะเปิดใช้งานสภาพแวดล้อมเสมือนโดยอัตโนมัติและเริ่มโปรแกรม หากคุณไม่ได้ใช้สภาพแวดล้อมเสมือนไม่ว่าด้วยเหตุผลใดก็ตาม เพียงเรียกใช้ python assistant.py

โปรแกรมจะเริ่มฟังเมื่อตรวจพบว่าพารามิเตอร์ ChatGPT หรือ ChatGPT_PB ถูกทริกเกอร์บนอวตารของคุณ ตัวอย่างเช่น คุณสามารถทริกเกอร์ได้จากเมนูการดำเนินการ หรือใช้คู่ผู้ติดต่อผู้ส่ง/ผู้รับ หรือแตะสองครั้งที่ปุ่มควบคุมขวาเพื่อเรียกใช้ด้วยตนเอง เสียงจะถูกคัดลอกเป็นข้อความด้วย Faster Whisper ซึ่งส่งต่อไปยัง OpenAI และการตอบกลับจะถูกอ่านด้วย Google Cloud TTS หรือตัวเลือกการสังเคราะห์เสียง 11.ai อย่างใดอย่างหนึ่ง Google Translate หรือ TTS เริ่มต้นของ Windows ข้อความตอบกลับจะถูกป้อนเข้าไปในกล่องแชท VRChat ด้วย

คำสั่งของระบบสามารถทริกเกอร์ได้โดยการพูดว่า "ระบบ" และชื่อของคำสั่ง ซึ่งจะข้ามการส่งไปยัง OpenAI ด้วย

การติดตั้ง

คัดลอก .env.example ไปยัง .env รับคีย์ API ของคุณจาก OpenAI และจาก ElevenLabs แล้วใส่ไว้ในไฟล์ รับไฟล์ Google Cloud Authentication และวางลงในไดเร็กทอรีโปรเจ็กต์ จากนั้นเพิ่มเส้นทางใน . .env

เปิดใช้งานสภาพแวดล้อมเสมือนในโฟลเดอร์ .venv โดยใช้ python -m venv venv สามารถข้ามได้ แต่แนะนำว่าอย่าขัดแย้งกับแพ็คเกจที่ติดตั้งแบบโกลบอล ติดตั้ง CUDA Toolkit และ cuDNN และเพิ่มโฟลเดอร์ bin ตามลำดับลงใน PATH ของคุณหากคุณวางแผนที่จะใช้ GPU ติดตั้งแพ็คเกจ Python ที่จำเป็นตามรายการด้านล่างโดยใช้ pip ด้วยการรองรับ GPU คุณ อาจ ต้องติดตั้ง PyTorch เวอร์ชันล่าสุดทุกคืน หรือถอนการติดตั้งและติดตั้งใหม่หากคุณมีเวอร์ชันเก่าที่ใช้งานไม่ได้และ/หรือไม่ได้คอมไพล์ด้วยการสนับสนุน CUDA คำสั่งตัวอย่างสำหรับการติดตั้ง PyTorch ทุกคืนบน Windows โดยใช้ pip ที่รองรับ CUDA 11.8 มีดังนี้: 

pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu118

ความต้องการ

Python 3.8 หรือสูงกว่าพร้อม Pip ขอแนะนำอย่างยิ่งให้ใช้ venv

มีการเปลี่ยนแปลงล่าสุดในไลบรารี ElevenLabs ตอนนี้คุณสามารถบังคับเวอร์ชันเก่าได้ด้วย pip install --force-reinstall "elevenlabs==0.1.1"

ไลบรารีที่จำเป็น: audioop, python-dotenv, elevenlabs v0.1.1, กระซิบเร็วขึ้น, ffmpeg, google-cloud-texttospeech, gtts, openai, pynput, python-osc, pyttsx3 และ customtkinter

เป็นไปได้มากว่าต้องใช้ GPU NVidia ไม่ได้ทดสอบกับ AMD แต่ฉันสงสัยว่ามันจะใช้งานได้ ในกรณีดังกล่าว ให้แก้ไขไฟล์เพื่อใช้ CPU แทน CUDA หากต้องการใช้ Faster Whisper คุณต้องมีทั้ง cuDNN และ CUDA Toolkit 11.8 ใน PATH มิฉะนั้น ให้ใช้ OpenAI Whisper หรือใช้การอนุมาน CPU

ไฟล์ต่อไปนี้จำเป็นต้องคัดลอกจาก C:WindowsMedia เนื่องจากฉันไม่สามารถอัปโหลดไปยัง Github ได้เนื่องจาก Microsoft เป็นเจ้าของไฟล์เหล่านี้:

  • Speech Misrecognition.wav
  • ปิดคำพูด.wav
  • คำพูด On.wav
  • Speech Sleep.wav

ลิขสิทธิ์

ลิขสิทธิ์ (c) 2023 MissingNO123 สงวนลิขสิทธิ์.

เนื้อหาของพื้นที่เก็บข้อมูลนี้ รวมถึงโค้ด เอกสาร และเนื้อหาอื่นๆ ทั้งหมด เว้นแต่จะระบุไว้เป็นอย่างอื่น เป็นทรัพย์สินของ MissingNO123 และได้รับการคุ้มครองโดยกฎหมายลิขสิทธิ์ ห้ามทำซ้ำ แจกจ่าย หรือเปิดเผยเนื้อหาในพื้นที่เก็บข้อมูลนี้ทั้งหมดหรือบางส่วนโดยไม่ได้รับอนุญาตเป็นลายลักษณ์อักษรจาก MissingNO123 โดยเด็ดขาด

ซอฟต์แวร์เวอร์ชันดั้งเดิมเขียนขึ้นเมื่อวันที่ 17 มีนาคม พ.ศ. 2566

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด