여기에서 SEPIA를 시작하기 위해 알아야 할 모든 것을 찾을 수 있을 것입니다.
SEPIA 생태계 개요(참고: 일부 부분은 아직 개발 브랜치에 있습니다).
이미지 아이콘 속성에 대해서는 홈페이지를 확인하세요.
자세한 설명은 Wiki를 확인하세요: SEPIA Framework Wiki
최신 뉴스를 보려면 Twitter 또는 Mastodon을 방문하세요. SEPIA Twitter 피드 | SEPIA 마스토돈 먹이
요약 및 가이드를 보려면 블로그를 방문하세요. SEPIA 블로그
SEPIA는 자체 호스팅, 확장 가능, 개인용, 지능형 보조자의 약어입니다 . 이는 음성 인식(STT), 깨우기 단어 감지, 텍스트 음성 변환(TTS), 자연어 등을 포함하여 본격적인 디지털 음성 지원을 구축하는 데 필요한 모든 도구를 갖춘 모듈식 오픈 소스 프레임워크입니다. -언어 이해, 대화 관리, SDK, 크로스 플랫폼 클라이언트 앱 등.
프레임워크는 완벽하게 함께 작동하여 SEPIA Open Assistant를 형성하는 고도로 사용자 정의 가능한 여러 마이크로 서비스로 구성됩니다. 이는 경량 Java 서버와 Elasticsearch DB를 "브레인"으로 사용하고 스마트 스피커, 스마트 디스플레이, 모바일 보조 앱 또는 기타 스마트 장치로 작동하는 Javascript 기반 클라이언트를 사용하는 클라이언트-서버 원칙을 따릅니다. 모든 구성 요소는 Linux, Windows 및 Mac에서 작동하며 Raspberry Pi?에서도 원활하게 실행 되도록 최적화되었습니다. ?.
즉시 사용 가능한 SEPIA는 현재 뉴스, 음악(라디오), 타이머, 알람, 미리 알림, 할 일 및 쇼핑 목록, 스마트 홈(예: openHAB와 같은 오픈 소스 도구 사용), 탐색, 장소, 날씨, 위키피디아, 웹 검색, 축구 결과(분데스리가), 약간의 잡담 등 . 자신만의 아이디어를 실현하려면 SEPIA SDK와 같은 도구와 SEPIA Control HUB에 통합된 코드 편집기를 사용하여 서비스를 구축하거나 사용자 정의 HTML 위젯을 작성할 수 있습니다.????!
SEPIA 프레임워크는 SEPIA 클라이언트와 보조 서버라는 두 가지 핵심 부분으로 구성됩니다.
SEPIA 클라이언트: 음성, 텍스트 또는 터치 상호 작용을 처리하고 SEPIA 서버와의 "대화 상자"를 관리하는 사용자 인터페이스입니다. 서버 응답은 텍스트(채팅), 그래픽 요소(카드, 버튼) 및/또는 음성 합성(텍스트 음성 변환) 및 음악(미디어 플레이어)을 포함한 사운드로 표시될 수 있습니다. 클라이언트는 일반적으로 음성 인식(기기 내 또는 SEPIA STT 서버를 통해)을 처리하여 음성을 텍스트로 변환하고 Hey SEPIA (Porcupine by Picovoice 덕분에)와 같은 깨우기 단어를 들을 수도 있습니다. 예를 들어 Raspberry Pi에서 "헤드리스"로 작동하는 브라우저, Android, iOS 및 DIY 버전용 클라이언트가 있습니다.
Assist-Server: HTTP REST API를 통해 클라이언트로부터 요청을 받고 자연어 이해(의도 및 NER), 대화 흐름, 스마트 서비스 통합 (예: 할 일)을 관리하는 SEPIA의 "두뇌"입니다. 목록 또는 뉴스 서비스), 사용자 계정, TTS(텍스트 음성 변환) 등이 있습니다. Assist-Server는 Raspberry Pi 3와 같은 SBC의 자체 하드웨어에서 실행되거나 보다 강력한 시스템(RPi4, 데스크톱 PC 등)의 클라이언트와 병렬로 실행될 수 있습니다.
음성 인식은 여러 가지 이유로(개인 정보 보호, 정확성, 성능, 제어 등) 매우 민감한 주제이기 때문에 SEPIA 프레임워크에는 STT(Speech-To-Text) 서버라는 또 다른 주요 구성 요소가 포함되어 있습니다.
SEPIA STT 서버: Raspberry Pi를 포함한 대부분의 시스템(x86, ARM)에서 실행되고 사용자 정의 동적 ASR 모델을 지원하는 실시간 음성 인식을 위한 오픈 소스 서버(Kaldi, Vosk 또는 Zamia 음성과 같은 훌륭한 도구 덕분에) .
SEPIA 프레임워크의 다른 주목할만한 구성 요소로는 서버, "헤드리스" 클라이언트, 스마트 홈 등을 관리하는 제어 허브, 다중 채널 채팅 및 이중 데이터 전송을 위한 WebSocket 서버, 사용자 정의 명령을 저장하는 Teach-Server 및 Java SDK가 있습니다. 강력한 맞춤형 서비스를 만들 수 있습니다.
현재 SEPIA는 다른 공용 언어로 사용자 정의 명령을 생성하기 위한 기본 지원을 통해 독일어와 영어로 작동합니다. 뉴스 및 축구 결과와 같은 일부 서비스는 독일어에 최적화되어 있습니다. 즉, 영어로 답변을 얻을 수 있지만 여전히 영어와 독일어 뉴스 매체 또는 분데스리가 축구 결과가 혼합되어 표시될 수 있습니다. 스마트 서비스는 지속적으로 개선되고 있으며 매장 목록을 직접 쉽게 편집할 수 있습니다.
SEPIA 개인용 디지털 오픈 소스 음성 비서를 사용하려면 다음 두 가지가 필요합니다.
사용자 정의 서버에 연결하려면 앱을 열고 로그인 화면에서 "호스트 이름"을 변경한 후 앱을 다시 시작하세요. 일반적인 호스트 이름은 서버의 IP인 "raspberrypi.local", "my-server.example.org/sepia"일 수도 있고 단순히 "localhost"(동일한 시스템에 있는 테스트 서버의 경우)를 유지할 수도 있습니다.
서버 설치를 위한 기본 단계:
Raspberry Pi 에 대한 지침 및 (거의) 자동 설치 스크립트는 -여기-에서 찾을 수 있습니다.
Linux, Windows 또는 Mac 에 SEPIA 서버 스택을 설치하는 방법에 대한 지침은 -여기-에서 확인할 수 있습니다.
질문이 있거나 도움이 필요하거나 버그를 보고하려면 여기로 이동하거나 여기에서 토론을 시작하세요.
SEPIA에 통합된 일부 서비스를 제대로 실행하려면 API 키가 필요합니다(예: 탐색/역지오코딩). 여기에서 (무료) 다운로드 방법을 알아보세요.
자체 서버를 운영하고 이를 대중이나 친구에게 공개하기로 결정한 경우 잠재적으로 민감한 개인 정보가 포함된 데이터베이스를 운영하고 있으므로 서버가 제대로 보호되는지 확인하고 사용자에게 데이터 개인 정보 보호 정책을 알리십시오.