Open Interface

打开接口

使用LLM的所有计算机的全自动驾驶仪

打开接口

• 通过将用户请求发送到LLM后端（GPT-4V等）来弄清所需步骤来自动驱动计算机。
• 通过模拟键盘和鼠标输入来自动执行步骤。
• 通过根据需要向计算机的当前屏幕截图通过课程纠正。

所有计算机的自动驾驶软件

演示

[“让我在Google文档中做好餐计划”]

更多演示

---

安装？

macos

• 从最新版本中下载MacOS二进制文件。
• 解压缩文件，然后将打开接口移动到应用程序文件夹。
  
  

苹果硅M系列Macs

• Open Interface将要求您访问为您操作键盘和鼠标的可访问性，并屏幕记录访问访问以进行屏幕截图以评估其进度。
  
• 如果没有，请通过系统设置手动添加这些权限 - >隐私和安全性
  
  

英特尔Mac

• 从应用程序文件夹启动应用程序。
  您可能会面对标准Mac “无法打开打开接口”错误。
  
  
  在这种情况下，按“取消” 。
  然后转到系统首选项 - >安全性和隐私 - >无论如何打开。
  
  


• 开放界面还需要可访问性来为您操作键盘和鼠标，并需要屏幕记录访问以进行屏幕截图以评估其进度。
  
  
  

• 最后，结帐的设置部分将开放接口连接到LLMS（OpenAI GPT-4V）

Linux

• 到目前为止，Linux二进制已在Ubuntu 20.04上进行了测试。
• 从最新版本下载Linux ZIP文件。
• 提取可执行文件并通过终端通过
  ./Open Interface
• 结帐的设置部分将开放接口连接到LLM（OpenAI GPT-4V）

视窗

• Windows二进制文件已在Windows 10上进行了测试。
• 从最新版本下载Windows ZIP文件。
• 解开文件夹，将EXE移至所需的位置，双击打开，然后瞧。
• 结帐的设置部分将开放接口连接到LLM（OpenAI GPT-4V）

设置

设置OpenAI API密钥

• 获取您的OpenAI API密钥

  • 打开接口需要访问GPT-4V才能执行用户请求。可以从OpenAI帐户下载GPT-4V密钥。
  • 请按照此处的步骤为您的OpenAI帐户增加余额。要解锁GPT-4V，最低付款需要$ 5。
  • 更多信息

• 将API键保存在打开的接口设置中

  • 在“打开接口”中，转到右上角的“设置”菜单，然后输入您从OpenAI收到的键，例如：
    
  
  
  
  

• 首次设置API键后，您需要重新启动应用程序。

可选：设置自定义LLM

• Open Interface使用其他OpenAI API样式LLM（例如LLAVA）作为后端支持，并且可以在高级设置窗口中轻松配置。
• 在“高级设置”窗口中输入自定义基础URL和模型名称，并根据需要在设置窗口中的API键。
  
  
  
• 如果您的LLM不支持OpenAI样式API，则可以使用这样的库将其转换为一个。
• 这些更改后，您需要重新启动该应用程序。

---

（目前）不好的东西？

• 准确的空间回答，因此单击按钮。
• 出于上述类似的原因，在诸如Excel和Google表格之类的表格上环境中跟踪自己。
• 由于严重依赖光标的操作，导航复杂的GUI富裕应用，例如反击，Spotify，车库带等。

未来？

（在YouTube教程等视频演练中训练了更好的模型）

• “为我的最新项目，在车库乐队中为我创建几个低音样本。”
• “阅读此设计文档以获取新功能，在Github上编辑代码，然后提交以进行审查。”
• “从Spotify找到我的朋友的音乐品味，并为今晚的活动创建派对播放列表。”
• “从我的Tahoe旅行中拍照，用iMovie制作白莲花型蒙太奇。”

笔记

• 费用：$ 0.05- $ 0.20用户请求。
  （一旦GPT-4V启用助手/状态模式，这将在不久的将来要低得多）
• 您可以随时按下停止按钮或将光标拖到任何屏幕角来中断应用程序。
• 使用多个监视器时，只有开放界面才能看到您的主显示。因此，如果光标/焦点位于辅助屏幕上，它可能会继续重试的动作，因为它无法看到其进度（尤其是在MacOS中具有启动焦点）。

---

系统图？️

 +----------------------------------------------------+
| App                                                |
|                                                    |
|    +-------+                                       |
|    |  GUI  |                                       |
|    +-------+                                       |
|        ^                                           |
|        |                                           |
|        v                                           |
|  +-----------+  (Screenshot + Goal)  +-----------+ |
|  |           | --------------------> |           | |
|  |    Core   |                       |    LLM    | |
|  |           | <-------------------- |  (GPT-4V) | |
|  +-----------+    (Instructions)     +-----------+ |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  | Interpreter |                                   |
|  +-------------+                                   |
|        |                                           |
|        v                                           |
|  +-------------+                                   |
|  |   Executer  |                                   |
|  +-------------+                                   |
+----------------------------------------------------+

---

星历史配x

链接？

• 在Ambersah.dev上查看我的更多项目。
• 其他演示和媒体套件可以在Media.md上找到。