toolbox macos

@iter-ai/caja de herramientas-macos

toolbox-macos es un paquete mínimo que permite a los GPT de OpenAI interactuar con aplicaciones de macOS como iMessage, correo electrónico o calendario a través de acciones de accesos directos.

• Integración simple : configuración sencilla con un servidor local y un esquema de API GPT.
• Centrado en la privacidad : se ejecuta localmente para mantener sus datos seguros.
• Versátil : brinda acceso a 128 API desde Apple Shortcuts.

Para ver una demostración, consulte: https://x.com/LinzhiQ/status/1729555314217734240?s=20

Tweet2.mov

tweet.mov

Ejecutar la caja de herramientas de macOS

En una máquina macOS con Node.js instalado, ejecute:

git clone https://github.com/iter-ai/toolbox-macos.git
npm install
npm run dev

El comando iniciará un túnel de Cloudflare para permitir que los GPT se conecten a su máquina.

Arquitectura del agente

toolbox-macos está diseñado teniendo en cuenta la compatibilidad con GPT personalizados. Si bien los GPT personalizados brindan una interfaz flexible, vienen con restricciones como el diseño de agente único, límite de caracteres para las descripciones de esquemas, etc.

Nuestro GPT personalizado está diseñado para realizar los siguientes cinco pasos:

1. listTools ( /list ): proporciona una lista de nombres de acciones disponibles para el modelo
2. selectTools ( /schema ): proporciona los detalles del esquema para las acciones de entrada
3. submitPlan ( /plan ): este punto final recibe un plan del modelo en texto sin formato y siempre devuelve éxito. El objetivo de este punto final es simplemente ocultar el plan al usuario.
4. submitCritique ( /critique ): de manera similar, este punto final recibe una crítica del plan y siempre arroja éxito. Nuevamente, este punto final ficticio oculta la crítica al usuario.
5. runTool ( /run ): este punto final ejecuta una acción que el GPT decide realizar con los parámetros dados.

El diseño jerárquico de /list y /schema permite que toolbox-macos admita más de cien acciones en un solo GPT. El modelo puede consultar y decidir dinámicamente qué acciones tomar. /plan y /critique abstraen los pasos de la cadena de pensamiento y la autocrítica del usuario. El usuario puede simplemente concentrarse en la conversación con el modelo.

Consulte el mensaje del sistema (en cli/src/index.tsx ) para obtener más detalles sobre cómo le indicamos al agente que aproveche estos puntos finales. Hay varias consideraciones al diseñar la arquitectura del agente:

• Proporcionar información del usuario incluye zonas horarias y nombres.
• Explicar peculiaridades específicas de los atajos de Apple, como los formatos de zona horaria y cómo encontrar ciertos identificadores.
• Instruir al modelo para que siga los cinco pasos anteriores.
• Instruir al modelo sobre algunos patrones de interacción, como cuándo pedir aclaraciones y confirmación.

Atajos de Apple

Ver integración/atajos/README