CopilotOne

Второй пилот-один

Усовершенствуйте свое существующее веб-приложение/приложение React с помощью встроенного помощника с искусственным интеллектом, похожего на Siri.

Ключевые особенности

• Голосовое действие : выполнение действий на основе голосового ввода.
• От текста к действию : выполнение действий на основе ввода текста.
• Контекст текущего экрана : автоматическое создание встраивания текущего экрана, просмотренного пользователем, и создание вложений, доступных для RAG во время выводов LLM. Это позволяет ИИ узнать о текущем экране пользователя и помогает генерировать более качественные ответы.
• Текстовый интерфейс API : преобразуйте существующие API без какого-либо кодирования для поддержки интерфейса на естественном языке как для запросов, так и для ответов. Это упрощает вызов API с помощью голоса, а также интеграцию с другими помощниками с поддержкой второго пилота.

Поддерживаемые UX-агенты с голосовой поддержкой

1. Агент пользовательского интерфейса : обеспечивает возможность громкой связи для выполнения существующих задач пользовательского интерфейса и рабочих процессов.
2. Агент навигации : помогает пользователям перейти к нужной странице, разделу или настройкам.
3. Агент формы : помощь в заполнении формы путем автозаполнения на основе голосового или файлового ввода, предварительные проверки, многоязычная поддержка. Более простые формы можно полностью заменить с помощью Voice to API Action.

Эти агенты направлены на сокращение времени обучения пользователей и обеспечивают возможность использования громкой связи для обнаружения контента, обнаружения функций, адаптации пользователей и заполнения форм.

Ассистенты

• Голос за действие : предложите Hansdfree опыт использования вашего приложения.

Демо-видео

Как выглядит будущее ИИ-помощников?

Цель — создать открытый протокол для AI-помощников, агентов и действий. Оформите заказ на будущее ИИ-помощников с помощью этого SDK.

Начать

Подробные инструкции. Читать документацию

Предварительные условия

Прежде чем использовать этот пакет, убедитесь, что у вас есть следующее:

• Существующее приложение React

• Создайте учетные данные второго пилота из Sugar AI или самостоятельной учетной записи.

Установить

Вы можете установить пакет @sugar-ai/copilot-one-js через npm в свой проект реагирования.

Установить пакет

npm install @sugar-ai/copilot-one-js@latest

Добавьте в свое приложение React

В вашем основном файле. источник/App.tsx

 import { useCopilot , CopilotConfigType , CopilotProvider , VoiceAssistant } from '@sugar-ai/copilot-one-js' ;


const copilotConfig : CopilotConfigType = {
  copilotId : "<copilotId>" ,
  server : {
    endpoint : "http://play.sugarcaneai.dev/api" ,
    token : "<token>" ,
  } ,

  ai : {
    defaultPromptTemplate : "<prompt template>" ,
    defaultPromptVariables : {
      $AGENT_NAME : "Sugar" ,
    } ,
    successResponse : "Task is completed" ,
    failureResponse : "I am not able to do this"
  } ,
}

// Wrap the App with Copilot Provider

    < CopilotProvider config = { copilotConfig } >
      < TodoApp / >
    < / CopilotProvider>

Мы возьмем пример приложения todo. Чтобы отслеживать текущий контекст экрана пользователя с помощью useStateEmbedding

 const TodoApp = ( ) => {

const { useStateEmbedding , registerAction , unregisterAction } = useCopilot ( ) ; // Add

// const [todos, setTodos] = useState([]);
const [ todos , setTodos ] = useStateEmbedding ( [ ] , { scope1 : "todoApp" , scope2 : "todos" } ) ; // Switch

...

}

Зарегистрируйте функции для создания, удаления и пометки выполненных действий.

 const TodoApp = ( ) => {

  ...

  // Functionalies
  const addTodo = ( task ) => { ... } } ;
  const deleteTodo = ( task ) => { ... } ;
  const markTodoAsDoneById = function ( todoId : number ) { ... } ;

  // Register addTodo function
  registerAction (
    "addTodo" ,
    {
      name : "addTodo" ,
      description : "Add a new todo" ,
      parameters : [
        {
          name : "task" ,
          type : "string" ,
          description : "Task description" ,
          required : true ,
        }
      ] ,
    } ,
    addTodo ,
  ) ;

...

}

Дорожная карта

• Выпущен веб-SDK

  • Голос к действию
  • Текст к действию
  • Текущий контекст экрана

• POC

  • Текстовый API-интерфейс

• [] Агент навигации

• [] Агент формы