LLM based AI Assistant

ผู้ช่วยเสียงที่ใช้ LLM

นี่คือผู้ช่วยเสียง AI ที่ใช้โมเดลภาษาขนาดใหญ่ ผู้ใช้สามารถโต้ตอบกับ Voice Assistant ในภาษาธรรมชาติ ซึ่งปัจจุบันเป็นภาษาอังกฤษ

การนำไปปฏิบัติได้นำโมเดลการเรียนรู้เชิงลึกต่างๆ มารวมกัน:

• โมเดลภาษาขนาดใหญ่ (สามารถเลือก GPT-4 หรือ Alpaca ได้)
• โมเดลคำพูดเป็นข้อความ (Wave2Vec2-Large)
• โมเดลข้อความเป็นคำพูด (Microsoft SpeechT5)

โมดูลคำพูดเชื่อมต่อกับไมโครโฟนในเครื่องเพื่อสร้างการถอดเสียงแบบสดผ่านกระบวนการ VAD การถอดเสียงจะถูกส่งไปยัง LLM ที่เลือกเพื่อประมวลผลตามคำปลุก

เมื่อ LLM สร้างการตอบสนอง โมดูลเสียงพูดจะบันทึกไฟล์เสียงและสร้างเอาต์พุตเสียงพูดโดยใช้โมเดล TTS

ส่วนต่อประสานกับผู้ใช้สร้างขึ้นโดยใช้ Streamlit และมอบประสบการณ์การแชทที่คุ้นเคย

สาธิต

การติดตั้ง

ติดตั้งการพึ่งพาโครงการ

 pip install -r requirements 

หากใช้โมเดล GPT ให้สร้างไฟล์ .env พร้อมตัวแปรสภาพแวดล้อมสำหรับ OPENAI_API_KEY และ OPENAI_API_BASE