sepia docs

ยินดีต้อนรับสู่หน้าเอกสารสำหรับ SEPIA

ที่นี่คุณ (หวังว่า) จะพบทุกสิ่งที่คุณจำเป็นต้องรู้เพื่อเริ่มต้นใช้งาน SEPIA

ภาพรวมของระบบนิเวศ SEPIA (หมายเหตุ: บางส่วนยังอยู่ในสาขา dev)
สำหรับการระบุแหล่งที่มาของไอคอนรูปภาพ โปรดตรวจสอบที่หน้าแรก

ดาวน์โหลด

• SEPIA-Home (เซิร์ฟเวอร์, เว็บแอป + Apk, เครื่องมือ): v2.7.0 | นักเทียบท่าฮับ
• ไคลเอนต์ SEPIA - Android: v0.25.0 Apk | เพลย์สโตร์
• ไคลเอนต์ SEPIA - DIY (Raspberry Pi ฯลฯ): คำแนะนำ
• เซิร์ฟเวอร์ SEPIA STT: v1.0.0 | นักเทียบท่าฮับ
• ซีเปีย SDK: v0.10.0

วิกิ บล็อก และข่าวสาร

ชำระเงิน Wiki สำหรับคำอธิบายโดยละเอียด: SEPIA Framework Wiki
เยี่ยมชม Twitter หรือ Mastodon เพื่อดูข่าวสารล่าสุด: SEPIA Twitter Feed | ซีเปีย มาสโตดอน ฟีด
เยี่ยมชมบล็อกเพื่อดูบทสรุปและคำแนะนำ: บล็อก SEPIA

บทนำ

SEPIA เป็นตัวย่อสำหรับ: โฮสต์ด้วยตนเอง, ขยายได้, ส่วนบุคคล, ผู้ช่วยอัจฉริยะ เป็นเฟรมเวิร์กโอเพ่นซอร์สแบบแยกส่วนที่มาพร้อมกับเครื่องมือที่จำเป็นทั้งหมดเพื่อสร้างผู้ช่วยเสียงดิจิทัลที่ครบครันของคุณเอง รวมถึงการรู้จำเสียง (STT) การตรวจจับคำปลุก ข้อความเป็นคำพูด (TTS) เป็นธรรมชาติ -ความเข้าใจภาษา การจัดการกล่องโต้ตอบ SDK แอปไคลเอ็นต์ข้ามแพลตฟอร์ม และอื่นๆ อีกมากมาย
เฟรมเวิร์กประกอบด้วยบริการไมโครหลายบริการที่ปรับแต่งได้สูง ซึ่งทำงานร่วมกันได้อย่างราบรื่นเพื่อสร้าง SEPIA Open Assistant เป็นไปตามหลักการไคลเอ็นต์-เซิร์ฟเวอร์โดยใช้ เซิร์ฟเวอร์ Java แบบน้ำหนักเบาและ Elasticsearch DB เป็น "สมอง" และไคลเอ็นต์ที่ใช้ Javascript ซึ่งทำงานเป็น ลำโพงอัจฉริยะ จอภาพอัจฉริยะ แอปผู้ช่วยมือถือ หรืออุปกรณ์อัจฉริยะใดๆ ก็ตามที่คุณคิดขึ้นมา ? ส่วนประกอบทั้งหมดทำงานบน Linux, Windows และ Mac และได้รับการปรับปรุงเพื่อให้ ทำงานได้อย่างราบรื่นบน Raspberry Pi ? -
ปัจจุบัน SEPIA มีบริการอัจฉริยะที่พร้อมใช้งานทันทีสำหรับ: ข่าว เพลง (วิทยุ) ตัวจับเวลา นาฬิกาปลุก ตัวเตือน รายการสิ่งที่ต้องทำและช็อปปิ้ง บ้านอัจฉริยะ (เช่น การใช้เครื่องมือโอเพ่นซอร์ส เช่น openHAB) การนำทาง สถานที่ สภาพอากาศ วิกิพีเดีย ค้นหาเว็บ ผลฟุตบอล (บุนเดสลีกา) พูดคุยเล็กๆ น้อยๆ และอื่นๆ อีกมากมาย เพื่อให้แนวคิดของคุณเองเป็นจริง คุณสามารถใช้เครื่องมือ เช่น SEPIA SDK และโปรแกรมแก้ไขโค้ดที่รวมอยู่ใน SEPIA Control HUB เพื่อสร้างบริการหรือเขียนวิดเจ็ต HTML แบบกำหนดเอง ??‍??‍?!

สถาปัตยกรรม

SEPIA Framework ประกอบด้วย 2 ส่วนหลัก: SEPIA Client และ Assist-Server

SEPIA Client: ส่วนติดต่อผู้ใช้ที่จัดการ การโต้ตอบด้วยเสียง ข้อความ หรือการสัมผัส และจัดการ "กล่องโต้ตอบ" ด้วยเซิร์ฟเวอร์ SEPIA การตอบกลับของเซิร์ฟเวอร์สามารถแสดงเป็นข้อความ (แชท) องค์ประกอบกราฟิก (การ์ด ปุ่ม) และ/หรือเสียง รวมทั้ง การสังเคราะห์เสียงพูด (ข้อความเป็นคำพูด) และเพลง (เครื่องเล่นสื่อ) โดยปกติแล้วไคลเอนต์จะดูแลการรู้จำเสียง (บนอุปกรณ์หรือผ่านเซิร์ฟเวอร์ SEPIA STT) เพื่อแปลงเสียงเป็นข้อความและยังสามารถฟังคำปลุกเช่น Hey SEPIA (ขอบคุณ Porcupine โดย Picovoice) มีไคลเอนต์สำหรับเบราว์เซอร์, Android, iOS และเวอร์ชัน DIY ที่ใช้งานได้ "ไม่มีหัว" เช่นบน Raspberry Pi

Assist-Server: "สมอง" ของ SEPIA ที่ได้รับคำขอจากไคลเอนต์ผ่าน HTTP REST API และดูแล ความเข้าใจภาษาธรรมชาติ (เจตนาและ NER) โฟลว์การสนทนา การรวมบริการอัจฉริยะ (เช่นสิ่งที่ต้องทำ รายการหรือบริการข่าวสาร) บัญชีผู้ใช้ ข้อความเป็นคำพูด (TTS) และอื่นๆ Assist-Server สามารถทำงานบนฮาร์ดแวร์ของตัวเองได้ เช่น บน SBC เช่น Raspberry Pi 3 หรือขนานกับไคลเอนต์บนระบบที่ทรงพลังกว่า (RPi4, เดสก์ท็อปพีซี ฯลฯ)

เนื่องจากการรู้จำเสียงเป็นหัวข้อที่ละเอียดอ่อนมากด้วยเหตุผลหลายประการ (ความเป็นส่วนตัว ความแม่นยำ ประสิทธิภาพ การควบคุม ฯลฯ) SEPIA Framework จึงรวมองค์ประกอบหลักอีกประการหนึ่ง: เซิร์ฟเวอร์คำพูดเป็นข้อความ (STT)

เซิร์ฟเวอร์ SEPIA STT: เซิร์ฟเวอร์โอเพ่นซอร์สสำหรับ การรู้จำเสียงแบบเรียลไทม์ ที่ทำงานบนระบบส่วนใหญ่ (x86, ARM) รวมถึง Raspberry Pi และรองรับโมเดล ASR ไดนามิกแบบกำหนดเอง (ต้องขอบคุณเครื่องมือที่ยอดเยี่ยมเช่น Kaldi, Vosk หรือ Zamia Speech) .

องค์ประกอบที่โดดเด่นอื่นๆ ของ SEPIA Framework ได้แก่ Control HUB เพื่อจัดการเซิร์ฟเวอร์, ไคลเอนต์ "headless", Smart Home และอื่นๆ อีกมากมาย, เซิร์ฟเวอร์ WebSocket สำหรับการแชทแบบหลายช่องสัญญาณและการถ่ายโอนข้อมูลแบบดูเพล็กซ์, Teach-Server เพื่อจัดเก็บคำสั่งที่กำหนดเอง และ Java SDK เพื่อสร้างบริการแบบกำหนดเองที่มีประสิทธิภาพ

ภาษา

ปัจจุบัน SEPIA ใช้งานได้ในภาษาเยอรมันและอังกฤษ พร้อมการสนับสนุนพื้นฐานเพื่อสร้างคำสั่งแบบกำหนดเองในภาษาทั่วไปอื่นๆ บริการบางอย่าง เช่น ข่าวและผลฟุตบอลได้รับการปรับให้เหมาะกับภาษาเยอรมัน ซึ่งหมายความว่าคุณจะได้รับคำตอบเป็นภาษาอังกฤษ แต่อาจยังคงเห็นสำนักข่าวภาษาอังกฤษและเยอรมันหรือผลฟุตบอลบุนเดสลีกาปะปนกัน บริการอัจฉริยะได้รับการปรับปรุงอย่างต่อเนื่อง และคุณสามารถแก้ไขรายชื่อสาขาได้อย่างง่ายดายด้วยตัวเอง

เริ่มต้นอย่างรวดเร็ว (สำหรับผู้ใช้)

หากต้องการใช้ SEPIA ผู้ช่วยเสียงดิจิทัลแบบโอเพ่นซอร์สส่วนตัวของคุณ คุณต้องมี 2 สิ่ง:

1. เข้าถึงเซิร์ฟเวอร์ SEPIA ซึ่งอาจเป็นของคุณเอง ซึ่งทำงานบน Raspberry Pi หรือพีซี Windows/Mac ของคุณ (ดูด้านล่าง) หรือคุณสามารถค้นหาแบบเปิดที่โฮสต์โดยเพื่อนหรือบริษัท (หมายเหตุ: ขณะนี้เราไม่ได้โฮสต์เซิร์ฟเวอร์สาธารณะใดๆ)
2. หนึ่งในแอปไคลเอ็นต์ของ SEPIA เช่น เวอร์ชันเว็บ: https://sepia-framework.github.io/app/ (โฮสต์บนเซิร์ฟเวอร์ของคุณด้วย) หรือแอป Android อย่างเป็นทางการ

หากต้องการเชื่อมต่อกับเซิร์ฟเวอร์ที่กำหนดเอง เพียงเปิดแอป เปลี่ยน "ชื่อโฮสต์" ในหน้าจอเข้าสู่ระบบแล้วรีสตาร์ทแอป ชื่อโฮสต์ทั่วไปอาจเป็น IP ของเซิร์ฟเวอร์ "raspberrypi.local", "my-server.example.org/sepia" หรือเพียงแค่เก็บ "localhost" ไว้ (สำหรับเซิร์ฟเวอร์ทดสอบบนเครื่องเดียวกัน)

เริ่มต้นอย่างรวดเร็ว (สำหรับผู้ผลิต)

ขั้นตอนพื้นฐานในการติดตั้งเซิร์ฟเวอร์:

• ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้ง Java JDK 8 หรือ 11 แล้ว
• ดาวน์โหลดชุด SEPIA-Home ล่าสุดได้จากที่นี่
• แยกไฟล์ zip และเรียกใช้ "การตั้งค่า" (.bat สำหรับ Windows, .sh สำหรับ Linux/Mac)
• ตัวเลือกเสริม (ผู้ใช้ขั้นสูง): หากคุณต้องการ Reverse-proxy ให้ติดตั้ง Nginx และใช้การกำหนดค่า SEPIA ที่รวมอยู่
• เริ่มต้นเซิร์ฟเวอร์ด้วยหนึ่งในสคริปต์ "run-sepia" และดูลิงก์ที่กล่าวถึงในตอนท้ายของกระบวนการ
• ใช้เว็บเบราว์เซอร์ใดก็ได้เพื่อเปิด SEPIA Control-HUB (ลิงก์ 'เครื่องมือ') และสร้างผู้ใช้ใหม่
• ดำเนินการต่อด้วย "การเริ่มต้นอย่างรวดเร็ว (สำหรับผู้ใช้)" ด้านบน :-)

คำแนะนำและสคริปต์การติดตั้ง (เกือบ) อัตโนมัติสำหรับ Raspberry Pi สามารถพบได้ - ที่นี่ -

คำแนะนำสำหรับการติดตั้งเซิร์ฟเวอร์สแต็ก SEPIA บน Linux, Windows หรือ Mac สามารถพบได้ -ที่นี่-

คำถามและรายงานข้อผิดพลาด

หากคุณมีคำถาม ต้องการความช่วยเหลือ หรือต้องการรายงานข้อผิดพลาด โปรดไปที่นี่ หรือเริ่มการสนทนาที่นี่

คีย์ API สำหรับบริการ

บริการบางอย่างที่รวมอยู่ใน SEPIA ต้องใช้คีย์ API เพื่อให้ทำงานได้อย่างถูกต้อง (เช่น การนำทาง/การเข้ารหัสทางภูมิศาสตร์แบบย้อนกลับ) ค้นหาวิธีรับพวกมัน (ฟรี) ที่นี่

บันทึกสุดท้าย

หากคุณใช้เซิร์ฟเวอร์ของคุณเองและตัดสินใจที่จะเปิดเซิร์ฟเวอร์ดังกล่าวต่อสาธารณะหรือต่อเพื่อนของคุณ โปรดตรวจสอบให้แน่ใจว่าเซิร์ฟเวอร์ดังกล่าวมีความปลอดภัยอย่างเหมาะสม และแจ้งให้ผู้ใช้ทราบเกี่ยวกับนโยบายความเป็นส่วนตัวของข้อมูลของคุณ เนื่องจากคุณใช้งานฐานข้อมูลที่มีข้อมูลส่วนบุคคลที่อาจมีความละเอียดอ่อน