sepia docs
1.0.0
Aquí (con suerte) encontrará todo lo que necesita saber para comenzar con SEPIA.
Descripción general del ecosistema SEPIA (nota: algunas partes todavía se encuentran en las ramas de desarrollo).
Para atribuciones de íconos de imágenes, consulte la página de inicio.
Consulte la Wiki para obtener descripciones detalladas: SEPIA Framework Wiki
Visite Twitter o Mastodon para conocer las últimas noticias: SEPIA Twitter Feed | Alimentación de Mastodonte SEPIA
Visite el blog para obtener resúmenes y guías: Blog SEPIA
SEPIA es un acrónimo de: asistente inteligente, personal, extensible y autohospedado . Es un marco modular de código abierto equipado con todas las herramientas necesarias para crear su propio asistente de voz digital completo, incluido reconocimiento de voz (STT), detección de palabras de activación, texto a voz (TTS), natural -comprensión de idiomas, gestión de diálogos, SDK(s), una aplicación cliente multiplataforma y mucho más.
El marco consta de varios microservicios altamente personalizables que funcionan juntos a la perfección para formar SEPIA Open Assistant. Sigue el principio cliente-servidor utilizando un servidor Java liviano y Elasticsearch DB como "cerebro" y un cliente basado en Javascript que funciona como altavoz inteligente, pantalla inteligente, aplicación de asistente móvil o cualquier dispositivo inteligente que se le ocurra. Todos los componentes funcionan en Linux, Windows y Mac y se han optimizado para funcionar sin problemas incluso en una Raspberry Pi . ?.
Actualmente, SEPIA cuenta con servicios inteligentes listos para usar para: noticias, música (radio), temporizadores, alarmas, recordatorios, listas de tareas y compras, hogar inteligente (por ejemplo, usando herramientas de código abierto como openHAB), navegación, lugares, clima, Wikipedia, búsqueda web, resultados de fútbol (Bundesliga), un poco de charla y más . Para hacer realidad sus propias ideas, puede utilizar herramientas como SEPIA SDK y el editor de código integrado en SEPIA Control HUB para crear servicios o escribir widgets HTML personalizados.
El marco SEPIA consta de 2 partes principales: el cliente SEPIA y el servidor Assist.
Cliente SEPIA: La interfaz de usuario que maneja interacciones de voz, texto o táctiles y administra el "diálogo" con el servidor SEPIA. Las respuestas del servidor pueden presentarse como texto (chat), elementos gráficos (tarjetas, botones) y/o sonido, incluida la síntesis de voz (texto a voz) y música (reproductor multimedia) . El cliente normalmente se encarga del reconocimiento de voz (en el dispositivo o mediante el servidor SEPIA STT) para transformar la voz en texto e incluso puede escuchar palabras de activación como Hey SEPIA (gracias a Porcupine de Picovoice). Hay clientes para el navegador, Android, iOS y una versión DIY que incluso funciona "sin cabeza", por ejemplo en una Raspberry Pi.
Assist-Server: El "cerebro" de SEPIA que recibe solicitudes del cliente a través de la API REST HTTP y se encarga de la comprensión del lenguaje natural (intención y NER), el flujo de conversación, la integración de servicios inteligentes (como una tarea pendiente). lista o servicio de noticias), cuentas de usuario, texto a voz (TTS) y más. El Assist-Server puede ejecutarse en su propio hardware, por ejemplo en SBC como Raspberry Pi 3 o en paralelo al cliente en sistemas más potentes (RPi4, PC de escritorio, etc.).
Debido a que el reconocimiento de voz es un tema muy delicado por múltiples razones (privacidad, precisión, rendimiento, control, etc.), el marco SEPIA incluye otro componente importante: el servidor de voz a texto (STT).
Servidor SEPIA STT: un servidor de código abierto para reconocimiento de voz en tiempo real que se ejecuta en la mayoría de los sistemas (x86, ARM), incluido Raspberry Pi y admite modelos ASR dinámicos y personalizados (gracias a excelentes herramientas como Kaldi, Vosk o Zamia Speech). .
Otros componentes notables de SEPIA Framework son el Control HUB para administrar servidores, clientes "sin cabeza", Smart Home y más, el servidor WebSocket para chats multicanal y transferencia de datos dúplex, Teach-Server para almacenar comandos personalizados y un SDK de Java. para crear potentes servicios personalizados.
Actualmente SEPIA funciona en alemán e inglés con soporte básico para crear comandos personalizados en otros idiomas comunes. Algunos servicios, como noticias y resultados de fútbol, están optimizados para el alemán, lo que significa que obtendrá una respuesta en inglés, pero es posible que aún vea una combinación de medios de noticias en inglés y alemán o resultados de fútbol de la Bundesliga. Sin embargo, los servicios inteligentes mejoran constantemente y usted mismo puede editar fácilmente la lista de puntos de venta.
Para utilizar SEPIA, tu asistente de voz personal, digital y de código abierto, necesitas 2 cosas:
Para conectarse a un servidor personalizado, simplemente abra la aplicación, cambie el "nombre de host" en la pantalla de inicio de sesión y reinicie la aplicación. Un nombre de host típico podría ser la IP del servidor, "raspberrypi.local", "my-server.example.org/sepia" o simplemente mantener "localhost" (para servidores de prueba en la misma máquina).
Pasos básicos para instalar el servidor:
Las instrucciones y un script de instalación (casi) automático para Raspberry Pi se pueden encontrar -AQUÍ-
Las instrucciones para la instalación de la pila del servidor SEPIA en Linux, Windows o Mac se pueden encontrar -AQUÍ-
Si tiene alguna pregunta, necesita ayuda o desea informar un error, vaya aquí o inicie una discusión aquí.
Algunos servicios integrados en SEPIA requieren una clave API para funcionar correctamente (por ejemplo, navegación/codificación geográfica inversa). Descubra cómo conseguirlos (gratis) aquí.
Si ejecuta su propio servidor y decide abrirlo al público o a sus amigos, asegúrese de que esté debidamente protegido e informe a los usuarios sobre su política de privacidad de datos, ya que está operando una base de datos con información personal potencialmente confidencial.
