sepia docs
1.0.0
Di sini Anda (semoga) akan menemukan semua yang perlu Anda ketahui untuk memulai SEPIA.
Gambaran umum ekosistem SEPIA (catatan: beberapa bagian masih dalam cabang pengembangan).
Untuk atribusi ikon gambar, silakan periksa beranda
Lihat Wiki untuk penjelasan rinci: SEPIA Framework Wiki
Kunjungi Twitter atau Mastodon untuk berita terkini: SEPIA Twitter Feed | Pakan Mastodon SEPIA
Kunjungi blog untuk ringkasan dan panduan: Blog SEPIA
SEPIA adalah singkatan dari: asisten yang dihosting sendiri, dapat diperluas, pribadi, dan cerdas . Ini adalah kerangka kerja modular dan sumber terbuka yang dilengkapi dengan semua alat yang diperlukan untuk membuat asisten suara digital lengkap Anda sendiri, termasuk pengenalan suara (STT), deteksi kata bangun, text-to-speech (TTS), natural -pemahaman bahasa, manajemen dialog, SDK, aplikasi klien lintas platform, dan banyak lagi.
Kerangka kerja ini terdiri dari beberapa layanan mikro yang dapat disesuaikan dan bekerja sama secara mulus untuk membentuk SEPIA Open Assistant. Ini mengikuti prinsip klien-server menggunakan server Java yang ringan dan DB Elasticsearch sebagai "otak" dan klien berbasis Javascript yang berfungsi sebagai speaker pintar, layar pintar, aplikasi asisten seluler, atau perangkat pintar apa pun yang Anda buat?. Semua komponen berfungsi di Linux, Windows dan Mac dan telah dioptimalkan agar berjalan lancar di Raspberry Pi ? ?.
SEPIA yang siap pakai saat ini memiliki layanan pintar untuk: berita, musik (radio), pengatur waktu, alarm, pengingat, daftar tugas dan belanja, rumah pintar (misalnya menggunakan alat sumber terbuka seperti openHAB), navigasi, tempat, cuaca, Wikipedia, pencarian web, hasil sepak bola (Bundesliga), sedikit obrolan ringan dan banyak lagi . Untuk mewujudkan ide Anda sendiri, Anda dapat menggunakan alat seperti SEPIA SDK dan editor kode yang terintegrasi ke dalam SEPIA Control HUB untuk membangun layanan atau menulis widget HTML khusus ????!
Kerangka SEPIA terdiri dari 2 bagian inti: Klien SEPIA dan Server Bantuan.
Klien SEPIA: Antarmuka pengguna yang menangani interaksi suara, teks atau sentuhan dan mengelola "dialog" dengan server SEPIA. Respons server dapat disajikan dalam bentuk teks (obrolan), elemen grafis (kartu, tombol) dan/atau suara termasuk sintesis ucapan (text-to-speech) dan musik (pemutar media) . Klien biasanya menangani pengenalan ucapan (di perangkat atau melalui server SEPIA STT) untuk mengubah suara menjadi teks dan bahkan dapat mendengarkan kata-kata bangun seperti Hey SEPIA (berkat Porcupine oleh Picovoice). Ada klien untuk browser, Android, iOS dan versi DIY yang bahkan berfungsi "tanpa kepala" misalnya pada Raspberry Pi.
Assist-Server: "Otak" SEPIA yang menerima permintaan dari klien melalui HTTP REST API dan menangani pemahaman bahasa alami (niat dan NER), alur percakapan, integrasi layanan pintar (seperti tugas yang harus dilakukan daftar atau layanan berita), akun pengguna, Text-to-Speech (TTS) dan banyak lagi. Assist-Server dapat berjalan pada perangkat kerasnya sendiri misalnya pada SBC seperti Raspberry Pi 3 atau paralel dengan klien pada sistem yang lebih kuat (RPi4, PC desktop, dll.).
Karena pengenalan ucapan adalah topik yang sangat rumit karena berbagai alasan (privasi, akurasi, kinerja, kontrol, dll.) Kerangka SEPIA menyertakan komponen utama lainnya: Server Ucapan-Ke-Teks (STT).
Server SEPIA STT: Server sumber terbuka untuk pengenalan ucapan waktu nyata yang berjalan di sebagian besar sistem (x86, ARM), termasuk Raspberry Pi dan mendukung model ASR dinamis dan khusus (berkat alat hebat seperti ucapan Kaldi, Vosk, atau Zamia) .
Komponen penting lainnya dari Kerangka SEPIA adalah Control HUB untuk mengelola server, klien "tanpa kepala", Smart Home dan banyak lagi, server WebSocket untuk obrolan multi-saluran dan transfer data dupleks, Server Ajarkan untuk menyimpan perintah khusus dan Java SDK untuk menciptakan layanan kustom yang kuat.
Saat ini SEPIA bekerja dalam bahasa Jerman dan Inggris dengan dukungan dasar untuk membuat perintah khusus dalam bahasa umum lainnya. Beberapa layanan seperti berita dan hasil sepak bola dioptimalkan untuk bahasa Jerman yang berarti Anda akan mendapatkan jawaban dalam bahasa Inggris tetapi mungkin masih melihat gabungan outlet berita berbahasa Inggris dan Jerman atau hasil sepak bola untuk Bundesliga. Layanan pintar terus meningkat dan Anda dapat dengan mudah mengedit sendiri daftar outletnya.
Untuk menggunakan SEPIA, asisten suara pribadi, digital, dan sumber terbuka, Anda memerlukan 2 hal:
Untuk terhubung ke server khusus cukup buka aplikasi, ubah "nama host" di layar masuk dan mulai ulang aplikasi. Nama host yang umum dapat berupa IP server, "raspberrypi.local", "my-server.example.org/sepia" atau cukup simpan "localhost" (untuk server uji di mesin yang sama).
Langkah-langkah dasar untuk menginstal server:
Petunjuk dan (hampir) skrip instalasi otomatis untuk Raspberry Pi dapat ditemukan -DI SINI-
Petunjuk instalasi tumpukan server SEPIA di Linux, Windows atau Mac dapat ditemukan -DI SINI-
Jika Anda mempunyai pertanyaan, butuh bantuan atau ingin melaporkan bug, silakan buka di sini atau mulai diskusi di sini.
Beberapa layanan yang terintegrasi dalam SEPIA memerlukan kunci API agar dapat berjalan dengan baik (misalnya navigasi/pengkodean geografis terbalik). Cari tahu cara mendapatkannya (gratis) di sini.
Jika Anda menjalankan server Anda sendiri dan memutuskan untuk membukanya untuk umum atau teman Anda, harap pastikan server tersebut diamankan dengan benar dan informasikan kepada pengguna tentang kebijakan privasi data Anda karena Anda mengoperasikan database dengan informasi pribadi yang berpotensi sensitif.
