您将(希望)在这里找到开始使用 SEPIA 所需的一切信息。
SEPIA 生态系统概述(注意:某些部分仍在开发分支中)。
对于图像图标属性,请检查主页
查看 Wiki 了解详细说明:SEPIA Framework Wiki
访问 Twitter 或 Mastodon 了解最新消息:SEPIA Twitter Feed |棕褐色乳齿象饲料
访问博客以获取摘要和指南:SEPIA 博客
SEPIA 是自托管、可扩展、个人、智能助理的缩写。它是一个模块化的开源框架,配备了构建您自己的成熟数字语音助手所需的所有工具,包括语音识别 (STT)、唤醒词检测、文本转语音 (TTS)、自然语音-语言理解、对话管理、SDK、跨平台客户端应用程序等等。
该框架由多个高度可定制的微服务组成,它们无缝协作形成 SEPIA Open Assistant。它遵循客户端-服务器原则,使用轻量级Java 服务器和 Elasticsearch DB 作为“大脑” ,以及基于 Javascript 的客户端,该客户端可用作智能扬声器、智能显示器、移动助理应用程序或您想出的任何智能设备。所有组件均可在 Linux、Windows 和 Mac 上运行,并且经过优化,甚至可以在 Raspberry Pi 上流畅运行? ?。
开箱即用的 SEPIA 目前拥有以下智能服务:新闻、音乐(广播)、计时器、闹钟、提醒、待办事项和购物清单、智能家居(例如使用 openHAB 等开源工具)、导航、地点、天气、维基百科、网络搜索、足球赛果(德甲)、一些闲聊等等。要实现您自己的想法,您可以使用 SEPIA SDK 和集成到 SEPIA Control HUB 中的代码编辑器等工具来构建服务或编写自定义 HTML 小部件?
SEPIA 框架由 2 个核心部分组成:SEPIA 客户端和辅助服务器。
SEPIA 客户端:处理语音、文本或触摸交互并管理与 SEPIA 服务器的“对话”的用户界面。服务器响应可以呈现为文本(聊天)、图形元素(卡片、按钮)和/或声音,包括语音合成(文本到语音)和音乐(媒体播放器) 。客户端通常负责语音识别(在设备上或通过 SEPIA STT 服务器)将语音转换为文本,甚至可以收听像“Hey SEPIA”这样的唤醒词(感谢 Picovoice 的 Porcupine)。有浏览器、Android、iOS 和 DIY 版本的客户端,甚至可以“无头”工作,例如在 Raspberry Pi 上。
辅助服务器: SEPIA 的“大脑”,通过 HTTP REST API 接收来自客户端的请求,并负责自然语言理解(意图和 NER)、对话流、智能服务集成(如待办事项)列表或新闻服务)、用户帐户、文本转语音 (TTS)等。辅助服务器可以在其自己的硬件上运行,例如在 Raspberry Pi 3 等 SBC 上运行,或者在更强大的系统(RPi4、台式电脑等)上与客户端并行运行。
由于出于多种原因(隐私、准确性、性能、控制等),语音识别是一个非常微妙的话题,因此 SEPIA 框架包括另一个主要组件:语音转文本 (STT) 服务器。
SEPIA STT 服务器:用于实时语音识别的开源服务器,可在大多数系统(x86、ARM)上运行,包括 Raspberry Pi ,并支持自定义动态 ASR 模型(感谢 Kaldi、Vosk 或 Zamia 语音等出色工具) 。
SEPIA 框架的其他值得注意的组件包括用于管理服务器、“无头”客户端、智能家居等的控制集线器、用于多通道聊天和双工数据传输的 WebSocket 服务器、用于存储自定义命令的教学服务器和 Java SDK创建强大的定制服务。
目前,SEPIA 支持德语和英语,并提供使用其他常见语言创建自定义命令的基本支持。新闻和足球结果等一些服务针对德语进行了优化,这意味着您将得到英语答案,但仍可能会看到英语和德语新闻媒体或德甲足球比赛结果的混合。不过,智能服务正在不断改进,您可以轻松地自行编辑网点列表。
要使用 SEPIA 您的个人数字开源语音助手,您需要满足以下两件事:
要连接到自定义服务器,只需打开应用程序,更改登录屏幕中的“主机名”并重新启动应用程序。典型的主机名可以是服务器的 IP、“raspberrypi.local”、“my-server.example.org/sepia”或仅保留“localhost”(对于同一计算机上的测试服务器)。
安装服务器的基本步骤:
可以找到Raspberry Pi的说明和(几乎)自动安装脚本 - 这里 -
有关在Linux、Windows 或 Mac上安装 SEPIA 服务器堆栈的说明,请参阅 -此处 -
如果您有任何疑问、需要帮助或想要报告错误,请转到此处或在此处开始讨论。
SEPIA 中集成的某些服务需要 API 密钥才能正常运行(例如导航/反向地理编码)。在这里了解如何(免费)获得它们。
如果您运行自己的服务器并决定向公众或您的朋友开放,请确保其受到适当的保护,并告知用户您的数据隐私政策,因为您正在操作包含潜在敏感个人信息的数据库。