sepia docs
1.0.0
ここでは、SEPIA を始めるために知っておくべきことが (おそらく) すべて見つかります。
SEPIA エコシステムの概要 (注: 一部の部分はまだ開発ブランチにあります)。
画像アイコンの帰属についてはホームページをご確認ください。
詳細な説明については Wiki を参照してください: SEPIA Framework Wiki
最新ニュースについては Twitter または Mastodon にアクセスしてください: SEPIA Twitter フィード |セピア マストドン フィード
概要とガイドについては、ブログをご覧ください: SEPIA ブログ
SEPIA は、自己ホスト型、拡張可能なパーソナル、インテリジェント アシスタントの頭字語です。これは、音声認識 (STT)、ウェイクワード検出、テキスト読み上げ (TTS)、自然音声変換など、独自の本格的なデジタル音声アシスタントを構築するために必要なすべてのツールを備えたモジュール式のオープンソース フレームワークです。 - 言語理解、ダイアログ管理、SDK、クロスプラットフォーム クライアント アプリなど。
このフレームワークは、シームレスに連携して SEPIA Open Assistant を形成する、高度にカスタマイズ可能な複数のマイクロサービスで構成されています。これは、軽量のJava サーバーと Elasticsearch DB を「頭脳」として使用し、スマート スピーカー、スマート ディスプレイ、モバイル アシスタント アプリ、または任意のスマート デバイスとして機能する Javascript ベースのクライアントを使用する、クライアント サーバーの原則に従います。すべてのコンポーネントは Linux、Windows、Mac で動作し、 Raspberry Pi でもスムーズに動作するように最適化されています。 ?。
すぐに使える SEPIA には現在、ニュース、音楽 (ラジオ)、タイマー、アラーム、リマインダー、To Do および買い物リスト、スマート ホーム (たとえば、openHAB などのオープンソース ツールを使用)、ナビゲーション、場所、天気、ウィキペディア、ウェブ検索、サッカーの結果 (ブンデスリーガ)、ちょっとした雑談など。独自のアイデアを実現するには、SEPIA SDK や SEPIA Control HUB に統合されたコード エディタなどのツールを使用して、サービスを構築したり、カスタム HTML ウィジェットを作成したりできます ????!
SEPIA フレームワークは、SEPIA クライアントとアシスト サーバーの 2 つのコア部分で構成されます。
SEPIA クライアント:音声、テキスト、またはタッチによる対話を処理し、SEPIA サーバーとの「ダイアログ」を管理するユーザー インターフェイス。サーバー応答は、テキスト (チャット)、グラフィック要素 (カード、ボタン)、および/または音声合成 (テキスト読み上げ) や音楽 (メディア プレーヤー)を含むサウンドとして表示できます。通常、クライアントは音声認識 (デバイス上または SEPIA STT サーバー経由) を処理して音声をテキストに変換し、 「Hey SEPIA」のようなウェイクワードを聞くこともできます (Picovoice の Porcupine のおかげで)。ブラウザ、Android、iOS 用のクライアントのほか、Raspberry Pi などで「ヘッドレス」で動作する DIY バージョンもあります。
Assist-Server: SEPIA の「頭脳」。HTTP REST API 経由でクライアントからリクエストを受け取り、自然言語の理解 (意図と NER)、会話フロー、スマートサービスの統合(To-Do など) を処理します。リストまたはニュース サービス)、ユーザー アカウント、音声合成 (TTS)など。 Assist-Server は、Raspberry Pi 3 などの SBC などの独自のハードウェア上で実行することも、より強力なシステム (RPi4、デスクトップ PC など) 上のクライアントと並行して実行することもできます。
音声認識はさまざまな理由 (プライバシー、精度、パフォーマンス、制御など) から非常にデリケートなテーマであるため、SEPIA フレームワークには別の主要コンポーネントである Speech-To-Text (STT) サーバーが含まれています。
SEPIA STT サーバー: Raspberry Pi を含むほとんどのシステム (x86、ARM) で動作し、カスタムの動的 ASR モデルをサポートするリアルタイム音声認識用のオープンソース サーバー (Kaldi、Vosk、Zamia speech などの優れたツールのおかげで) 。
SEPIA フレームワークのその他の注目すべきコンポーネントには、サーバー、「ヘッドレス」クライアント、スマート ホームなどを管理するコントロール ハブ、マルチチャネル チャットと双方向データ転送用の WebSocket サーバー、カスタム コマンドと Java SDK を保存する Teach-Server があります。強力なカスタム サービスを作成します。
現在、SEPIA はドイツ語と英語で動作し、他の一般的な言語でカスタム コマンドを作成するための基本サポートが付いています。ニュースやサッカー結果などの一部のサービスはドイツ語用に最適化されており、英語で回答が得られますが、それでも英語とドイツ語の報道機関やブンデスリーガのサッカー結果が混在して表示される場合があります。ただし、スマート サービスは常に改善されており、アウトレットのリストを自分で簡単に編集できます。
SEPIA を個人用のデジタル、オープンソースの音声アシスタントとして使用するには、次の 2 つのものが必要です。
カスタムサーバーに接続するには、アプリを開き、ログイン画面で「ホスト名」を変更し、アプリを再起動するだけです。一般的なホスト名は、サーバーの IP、「raspberrypi.local」、「my-server.example.org/sepia」、または単に「localhost」のままにすることもできます (同じマシン上のテストサーバーの場合)。
サーバーをインストールする基本的な手順は次のとおりです。
Raspberry Piの手順と (ほぼ) 自動インストール スクリプトは -こちら- で見つけることができます。
Linux、Windows、または Macへの SEPIA サーバー スタックのインストール手順については、-こちら-をご覧ください。
ご質問がある場合、ヘルプが必要な場合、またはバグを報告したい場合は、ここにアクセスするか、ここでディスカッションを開始してください。
SEPIA に統合されている一部のサービス (ナビゲーション/リバース ジオコーディングなど) を適切に実行するには API キーが必要です。入手方法（無料）については、こちらをご覧ください。
独自のサーバーを運用しており、それを一般または友人に公開する場合は、機密性の高い個人情報が含まれる可能性のあるデータベースを運用しているため、そのサーバーが適切に保護されていることを確認し、データ プライバシー ポリシーについてユーザーに通知してください。
