LLM based AI Assistant

LLM 기반 음성 도우미

이것은 대형 언어 모델을 기반으로 한 AI 음성 도우미입니다. 사용자는 자연어(현재 영어)로 음성 도우미와 상호 작용할 수 있습니다.

구현은 다양한 딥 러닝 모델을 하나로 통합합니다.

• 대규모 언어 모델(GPT-4 또는 Alpaca 선택 가능)
• 음성-텍스트 모델(Wave2Vec2-Large)
• 텍스트 음성 변환 모델(Microsoft SpeechT5)

음성 모듈은 로컬 마이크와 인터페이스되어 VAD 프로세스를 통해 실시간 전사를 생성합니다. 깨우기 단어를 기반으로 처리하기 위해 선택한 LLM으로 전사본이 전송됩니다.

LLM이 응답을 생성하면 음성 모듈도 오디오 파일을 저장하고 TTS 모델을 사용하여 음성 출력을 생성합니다.

사용자 인터페이스는 Streamlit을 사용하여 구축되었으며 친숙한 채팅과 같은 경험을 제공합니다.

데모

설치

프로젝트 종속성 설치

 pip install -r requirements 

GPT 모델을 사용하는 경우 OPENAI_API_KEY 및 OPENAI_API_BASE 에 대한 환경 변수가 포함된 .env 파일을 만듭니다.