LLM based AI Assistant

LLM ベースの音声アシスタント

これは、大規模言語モデルに基づいた AI 音声アシスタントです。ユーザーは、自然言語 (現在は英語) で音声アシスタントと対話できます。

この実装により、さまざまな深層学習モデルが統合されます。

• 大規模言語モデル (GPT-4 または Alpaca、選択可能)
• Speech-To-Text モデル (Wave2Vec2-Large)
• テキスト読み上げモデル (Microsoft SpeechT5)

音声モジュールはローカル マイクと接続され、VAD プロセスを介してライブ文字起こしを作成します。転写は、ウェイク ワードに基づいて処理するために、選択された LLM に送信されます。

LLM が応答を生成すると、音声モジュールも音声ファイルを保存し、TTS モデルを使用して音声出力を生成します。

ユーザー インターフェイスは Streamlit を使用して構築されており、使い慣れたチャットのようなエクスペリエンスを提供します。

デモ

インストール

プロジェクトの依存関係をインストールする

 pip install -r requirements 

GPT モデルを使用する場合は、 OPENAI_API_KEYおよびOPENAI_API_BASEの環境変数を含む.envファイルを作成します。