toolbox macos

@iter-ai/toolbox-macos

toolbox-macos OpenAI GPT がショートカット アクションを通じて iMessage、電子メール、カレンダーなどの macOS アプリと対話できるようにする最小限のパッケージです。

• シンプルな統合: ローカルサーバーと GPT API スキーマを使用した簡単なセットアップ。
• プライバシー重視: データを安全に保つためにローカルで実行されます。
• 多用途: Apple ショートカットから 128 の API にアクセスできます。

デモについては、https://x.com/LinzhiQ/status/1729555314217734240?s=20 を参照してください。

ツイート2.mov

ツイート.mov

macOS ツールボックスの実行

Node.js がインストールされている macOS マシンで、次を実行します。

git clone https://github.com/iter-ai/toolbox-macos.git
npm install
npm run dev

このコマンドは Cloudflare トンネルを開始し、GPT がマシンに接続できるようにします。

エージェントのアーキテクチャ

toolbox-macosは、カスタム GPT のサポートを念頭に置いて設計されています。カスタム GPT は柔軟なインターフェイスを提供しますが、シングル エージェント設計、スキーマ説明の文字数制限などの制約があります。

カスタム GPT は、次の 5 つのステップを実行するように設計されています。

1. listTools ( /list ): 使用可能なアクション名のリストをモデルに提供します。
2. selectTools ( /schema ): 入力アクションのスキーマの詳細を提供します。
3. submitPlan ( /plan ): このエンドポイントはモデルからプレーン テキストでプランを受け取り、常に成功を返します。このエンドポイントの目的は、単純にプランをユーザーから隠すことです。
4. submitCritique ( /critique ): 同様に、このエンドポイントは計画の批評を受け取り、常に成功を返します。繰り返しますが、このダミーのエンドポイントはユーザーからの批判を隠します。
5. runTool ( /run ): このエンドポイントは、GPT が指定されたパラメーターで実行することを決定したアクションを実行します。

/listと/schemaの階層設計によりtoolbox-macos 1 つの GPT に対して 100 を超えるアクションをサポートできます。モデルは動的にクエリを実行し、実行するアクションを決定できます。 /planと/critique思考の連鎖と自己批判のステップをユーザーから抽象化します。ユーザーはモデルとの会話に集中することができます。

これらのエンドポイントを利用するようにエージェントに指示する方法の詳細については、システム プロンプト ( cli/src/index.tsx内) を確認してください。エージェント アーキテクチャを設計する際には、いくつかの考慮事項があります。

• タイムゾーンや名前などのユーザー情報の提供
• タイムゾーン形式や特定の識別子の検索方法など、Apple ショートカットに関する特殊な点について説明します。
• 上記の 5 つのステップに従うようにモデルに指示します。
• いつ説明や確認を求めるかなど、いくつかの対話パターンをモデルに指示する

アップルのショートカット

統合/ショートカット/README を参照してください。