LLM based AI Assistant

Asisten Suara berbasis LLM

Ini adalah Asisten Suara AI berdasarkan Model Bahasa Besar. Pengguna dapat berinteraksi dengan Asisten Suara dalam bahasa alami, saat ini bahasa Inggris.

Implementasinya menyatukan berbagai model pembelajaran mendalam:

• Model Bahasa Besar (GPT-4 atau Alpaca, dapat dipilih)
• Model Pidato-Ke-Teks (Wave2Vec2-Besar)
• Model Teks-Ke-Ucapan (Microsoft SpeechT5)

Modul ucapan dihubungkan dengan mikrofon lokal untuk membuat transkripsi langsung melalui Proses VAD. Transkripsi dikirim ke LLM yang dipilih untuk diproses berdasarkan kata-kata bangun.

Setelah LLM menghasilkan respons, modul ucapan juga menyimpan file audio dan menghasilkan keluaran ucapan menggunakan model TTS.

Antarmuka Pengguna dibuat menggunakan Streamlit dan memberikan pengalaman seperti Obrolan yang familier.

Demo

Instalasi

Instal dependensi proyek

 pip install -r requirements 

Jika menggunakan Model GPT, buat file .env dengan variabel lingkungan untuk OPENAI_API_KEY dan OPENAI_API_BASE .