toolbox macos

@iter-ai/toolbox-macos

toolbox-macos — это минимальный пакет, который позволяет OpenAI GPT взаимодействовать с приложениями macOS, такими как iMessage, электронная почта или календарь, с помощью действий ярлыков.

• Простая интеграция : простая настройка с помощью локального сервера и схемы GPT API.
• Конфиденциальность : запускается локально для обеспечения безопасности ваших данных.
• Универсальность : предоставляет доступ к 128 API из Apple Shortcuts.

Демо-версию смотрите: https://x.com/LinzhiQ/status/1729555314217734240?s=20.

Твит2.mov

твит.мов

Запуск панели инструментов macOS

На компьютере MacOS с установленным Node.js запустите:

git clone https://github.com/iter-ai/toolbox-macos.git
npm install
npm run dev

Команда запустит туннель Cloudflare, чтобы позволить GPT подключаться к вашему компьютеру.

Архитектура агента

toolbox-macos разработан с учетом поддержки пользовательских GPT. Хотя пользовательские GPT предоставляют гибкий интерфейс, они имеют такие ограничения, как дизайн с одним агентом, ограничение количества символов для описаний схемы и т. д.

Наш пользовательский тег GPT предназначен для выполнения следующих пяти шагов:

1. listTools ( /list ): предоставление модели списка доступных имен действий.
2. selectTools ( /schema ): предоставление сведений о схеме для действий ввода.
3. submitPlan ( /plan ): эта конечная точка получает план от модели в виде обычного текста и всегда возвращает успех. Цель этой конечной точки — просто скрыть план от пользователя.
4. submitCritique ( /critique ): аналогично, эта конечная точка получает критику плана и всегда возвращает успех. Опять же, эта фиктивная конечная точка скрывает критику от пользователя.
5. runTool ( /run ): эта конечная точка выполняет действие, которое GPT решает выполнить с заданными параметрами.

Иерархическая конструкция /list и /schema позволяет toolbox-macos поддерживать более сотни действий для одного GPT. Модель может динамически запрашивать и решать, какие действия предпринять. /plan и /critique отделяют от пользователя этапы цепочки мыслей и самокритики. Пользователь может просто сосредоточиться на разговоре с моделью.

Вы проверяете системное приглашение (в cli/src/index.tsx ) для получения более подробной информации о том, как мы инструктируем агента использовать эти конечные точки. При проектировании архитектуры агента необходимо учитывать несколько факторов:

• Предоставление информации о пользователе включает часовые пояса и имена.
• Объяснение особенностей Apple Shortcuts, таких как форматы часовых поясов и способы поиска определенных идентификаторов.
• Поручение модели выполнить пять вышеуказанных шагов
• Инструктирование модели о некоторых шаблонах взаимодействия, например, когда запрашивать разъяснения и подтверждения.

Ярлыки Apple

См. интеграцию/ярлыки/README.