toolbox macos

@iter-ai/toolbox-macos

toolbox-macos ist ein Minimalpaket, das OpenAI-GPTs die Interaktion mit macOS-Apps wie iMessage, E-Mail oder Kalender über Shortcuts-Aktionen ermöglicht.

• Einfache Integration : Einfache Einrichtung mit einem lokalen Server und einem GPT-API-Schema.
• Datenschutzorientiert : Wird lokal ausgeführt, um die Sicherheit Ihrer Daten zu gewährleisten.
• Vielseitig : Bietet Zugriff auf 128 APIs über Apple Shortcuts.

Eine Demo finden Sie unter: https://x.com/LinzhiQ/status/1729555314217734240?s=20

Tweet2.mov

tweet.mov

Ausführen der macOS Toolbox

Führen Sie auf einem macOS-Computer mit installiertem Node.js Folgendes aus:

git clone https://github.com/iter-ai/toolbox-macos.git
npm install
npm run dev

Der Befehl startet einen Cloudflare-Tunnel, damit GPTs eine Verbindung zu Ihrem Computer herstellen können.

Agentenarchitektur

toolbox-macos wurde im Hinblick auf die Unterstützung benutzerdefinierter GPTs entwickelt. Benutzerdefinierte GPTs bieten zwar eine flexible Schnittstelle, unterliegen jedoch Einschränkungen wie dem Design eines einzelnen Agenten, der Zeichenbeschränkung für Schemabeschreibungen usw.

Unser benutzerdefiniertes GPT ist darauf ausgelegt, die folgenden fünf Schritte auszuführen:

1. listTools ( /list ): Bereitstellung einer Liste der verfügbaren Aktionsnamen für das Modell
2. selectTools ( /schema ): Bereitstellung der Schemadetails für die Eingabeaktionen
3. submitPlan ( /plan ): Dieser Endpunkt empfängt einen Plan vom Modell im Klartext und gibt immer Erfolg zurück. Das Ziel dieses Endpunkts besteht darin, den Plan einfach vor dem Benutzer zu verbergen.
4. submitCritique ( /critique ): Ebenso erhält dieser Endpunkt eine Kritik am Plan und gibt immer Erfolg zurück. Auch dieser Dummy-Endpunkt verbirgt die Kritik vor dem Benutzer.
5. runTool ( /run ): Dieser Endpunkt führt eine Aktion aus, die der GPT mit den angegebenen Parametern ausführt.

Das hierarchische Design von /list und /schema ermöglicht es toolbox-macos mehr als hundert Aktionen für ein einzelnes GPT zu unterstützen. Das Modell kann dynamisch Abfragen durchführen und entscheiden, welche Aktionen ausgeführt werden sollen. /plan und /critique abstrahieren die Schritte der Gedankenkette und Selbstkritik vom Benutzer. Der Benutzer kann sich einfach auf das Gespräch mit dem Model konzentrieren.

Weitere Informationen dazu, wie wir den Agenten anweisen, diese Endpunkte zu nutzen, finden Sie in der Systemeingabeaufforderung (in cli/src/index.tsx ). Beim Entwerfen der Agentenarchitektur sind mehrere Überlegungen zu berücksichtigen:

• Die Bereitstellung von Benutzerinformationen umfasst Zeitzonen und Namen
• Erklären spezifischer Besonderheiten von Apple Shortcuts, z. B. Zeitzonenformate und wie man bestimmte Kennungen findet
• Weisen Sie das Modell an, die oben genannten fünf Schritte auszuführen
• Instruieren Sie das Modell zu einigen Interaktionsmustern, z. B. wann es um Klärung und Bestätigung bitten soll

Apple-Verknüpfungen

Siehe Integration/Shortcuts/README