CopilotOne

นักบินอวกาศคนหนึ่ง

เพิ่มพลังให้กับแอป Web/React ที่คุณมีอยู่ด้วยผู้ช่วย Native AI ที่เหมือน Siri

คุณสมบัติที่สำคัญ

• Voice To Action : ดำเนินการตามการป้อนข้อมูลด้วยเสียง
• ข้อความถึงการดำเนินการ : ดำเนินการตามการป้อนข้อความ
• บริบทหน้าจอปัจจุบัน : สร้างการฝังหน้าจอปัจจุบันที่ผู้ใช้เห็นโดยอัตโนมัติ และสร้างการฝังที่พร้อมใช้งานสำหรับ RAG ในระหว่างการอนุมาน LLM สิ่งนี้ทำให้ AI รับรู้ถึงหน้าจอปัจจุบันของผู้ใช้และช่วยสร้างการตอบสนองที่ดีขึ้น
• อินเทอร์เฟซ Text API : แปลง API ที่มีอยู่โดยไม่ต้องเขียนโค้ดใดๆ เพื่อรองรับอินเทอร์เฟซภาษาธรรมชาติสำหรับทั้งคำขอและการตอบกลับ ซึ่งช่วยลดความยุ่งยากในการออกใบแจ้งหนี้ API โดยใช้เสียงและยังรวมเข้ากับผู้ช่วยที่ขับเคลื่อนด้วย Copilot One อื่น ๆ

รองรับตัวแทน UX ที่เปิดใช้งานด้วยเสียง

1. UI Agent : เปิดใช้งานความสามารถแบบแฮนด์ฟรีเพื่อทำงาน UI และเวิร์กโฟลว์ที่มีอยู่
2. Navigation Agent : ช่วยเหลือผู้ใช้ในการนำทางไปยังหน้า ส่วน หรือการตั้งค่าที่ถูกต้อง
3. ตัวแทนแบบฟอร์ม : ช่วยเหลือในการกรอกแบบฟอร์มโดยการกรอกอัตโนมัติตามการป้อนข้อมูลด้วยเสียงหรือไฟล์ การตรวจสอบล่วงหน้า การสนับสนุนหลายภาษา แบบฟอร์มที่เรียบง่ายกว่าสามารถแทนที่ได้อย่างสมบูรณ์ด้วย Voice to API Action

ตัวแทนเหล่านี้มุ่งเน้นไปที่การลดเส้นโค้งการเรียนรู้สำหรับผู้ใช้และเปิดใช้งานประสบการณ์แฮนด์ฟรีในการค้นหาเนื้อหา การค้นพบคุณสมบัติ การเริ่มต้นใช้งานผู้ใช้ และการกรอกแบบฟอร์ม

ผู้ช่วย

• การดำเนินการด้วยเสียง : เสนอประสบการณ์ Hansdfree เพื่อใช้แอปของคุณ

วิดีโอสาธิต

อนาคตของผู้ช่วย AI จะเป็นอย่างไร?

เป้าหมายคือการสร้างโปรโตคอลแบบเปิดสำหรับผู้ช่วย AI, ตัวแทน และการดำเนินการ ชำระเงินอนาคตของผู้ช่วย AI โดยใช้ SDK นี้

เริ่มต้นเลย

สำหรับคำแนะนำโดยละเอียด อ่านเอกสาร

ข้อกำหนดเบื้องต้น

ก่อนใช้แพ็คเกจนี้ ตรวจสอบให้แน่ใจว่าคุณมีสิ่งต่อไปนี้:

• แอปพลิเคชัน React ที่มีอยู่

• สร้างข้อมูลรับรองนักบินจาก Sugar AI หรือบัญชีที่โฮสต์ด้วยตนเอง

ติดตั้ง

คุณสามารถติดตั้งแพ็คเกจ @sugar-ai/copilot-one-js ผ่าน npm ในโปรเจ็กต์ React ของคุณ

ติดตั้งแพ็คเกจ

npm install @sugar-ai/copilot-one-js@latest

เพิ่มลงในแอป React ของคุณ

ในไฟล์หลักของคุณ src/App.tsx

 import { useCopilot , CopilotConfigType , CopilotProvider , VoiceAssistant } from '@sugar-ai/copilot-one-js' ;


const copilotConfig : CopilotConfigType = {
  copilotId : "<copilotId>" ,
  server : {
    endpoint : "http://play.sugarcaneai.dev/api" ,
    token : "<token>" ,
  } ,

  ai : {
    defaultPromptTemplate : "<prompt template>" ,
    defaultPromptVariables : {
      $AGENT_NAME : "Sugar" ,
    } ,
    successResponse : "Task is completed" ,
    failureResponse : "I am not able to do this"
  } ,
}

// Wrap the App with Copilot Provider

    < CopilotProvider config = { copilotConfig } >
      < TodoApp / >
    < / CopilotProvider>

เรากำลังยกตัวอย่างแอปสิ่งที่ต้องทำ เพื่อติดตามบริบทหน้าจอปัจจุบันของผู้ใช้โดยใช้ useStateEmbedding

 const TodoApp = ( ) => {

const { useStateEmbedding , registerAction , unregisterAction } = useCopilot ( ) ; // Add

// const [todos, setTodos] = useState([]);
const [ todos , setTodos ] = useStateEmbedding ( [ ] , { scope1 : "todoApp" , scope2 : "todos" } ) ; // Switch

...

}

ลงทะเบียนฟังก์ชันสำหรับสร้าง ลบ และทำเครื่องหมายว่าเสร็จสิ้น

 const TodoApp = ( ) => {

  ...

  // Functionalies
  const addTodo = ( task ) => { ... } } ;
  const deleteTodo = ( task ) => { ... } ;
  const markTodoAsDoneById = function ( todoId : number ) { ... } ;

  // Register addTodo function
  registerAction (
    "addTodo" ,
    {
      name : "addTodo" ,
      description : "Add a new todo" ,
      parameters : [
        {
          name : "task" ,
          type : "string" ,
          description : "Task description" ,
          required : true ,
        }
      ] ,
    } ,
    addTodo ,
  ) ;

...

}

แผนการทำงาน

• เปิดตัว SDK เว็บแล้ว

  • เสียงในการดำเนินการ
  • ข้อความถึงการดำเนินการ
  • บริบทหน้าจอปัจจุบัน

• สำนักงาน ป.ป.ช

  • อินเทอร์เฟซข้อความ API

• [] ตัวแทนการนำทาง

• [ ] แบบฟอร์มตัวแทน