toolbox macos

@iter-ai/toolbox-macos

toolbox-macos est un package minimal qui permet aux GPT OpenAI d'interagir avec des applications macOS telles que iMessage, la messagerie électronique ou le calendrier via des actions de raccourcis.

• Intégration simple : configuration facile avec un serveur local et un schéma API GPT.
• Axé sur la confidentialité : s'exécute localement pour protéger vos données.
• Polyvalent : donne accès à 128 API depuis Apple Shortcuts.

Pour une démo, voir : https://x.com/LinzhiQ/status/1729555314217734240?s=20

Tweet2.mov

tweet.mov

Exécuter la boîte à outils macOS

Sur une machine macOS sur laquelle Node.js est installé, exécutez :

git clone https://github.com/iter-ai/toolbox-macos.git
npm install
npm run dev

La commande démarrera un tunnel Cloudflare pour permettre aux GPT de se connecter à votre machine.

Architecture des agents

toolbox-macos est conçu pour prendre en charge les GPT personnalisés. Bien que les GPT personnalisés offrent une interface flexible, ils sont soumis à des contraintes telles que la conception à agent unique, la limite de caractères pour les descriptions de schéma, etc.

Notre GPT personnalisé est conçu pour effectuer les cinq étapes suivantes :

1. listTools ( /list ): fournissant une liste des noms d'actions disponibles au modèle
2. selectTools ( /schema ) : fournissant les détails du schéma pour les actions d'entrée
3. submitPlan ( /plan ) : ce point de terminaison reçoit un plan du modèle en texte brut et renvoie toujours le succès. Le but de ce point de terminaison est simplement de cacher le plan à l'utilisateur.
4. submitCritique ( /critique ) : de même, ce point de terminaison reçoit une critique du plan et renvoie toujours un succès. Encore une fois, ce point de terminaison factice cache la critique à l’utilisateur.
5. runTool ( /run ) : ce point de terminaison exécute une action que le GPT décide d'entreprendre avec les paramètres donnés.

La conception hiérarchique de /list et /schema permet toolbox-macos de prendre en charge plus d'une centaine d'actions sur un seul GPT. Le modèle peut interroger et décider dynamiquement les actions à entreprendre. /plan et /critique éliminent les étapes de la chaîne de pensée et de l'autocritique de l'utilisateur. L'utilisateur peut simplement se concentrer sur la conversation avec le modèle.

Vous consultez l'invite système (dans cli/src/index.tsx ) pour plus de détails sur la façon dont nous demandons à l'agent d'exploiter ces points de terminaison. Il y a plusieurs considérations à prendre en compte lors de la conception de l'architecture de l'agent :

• La fourniture d'informations sur les utilisateurs inclut les fuseaux horaires et les noms
• Expliquer les bizarreries spécifiques des raccourcis Apple, telles que les formats de fuseau horaire et comment trouver certains identifiants
• Demander au modèle de suivre les cinq étapes ci-dessus
• Instruire le modèle sur certains modèles d'interaction, comme quand demander des éclaircissements et une confirmation

Raccourcis Apple

Voir intégration/raccourcis/README