iuys

IUYS（智能理解您的屏幕截图）

关于

受到 Sam Witteveen 在新加坡机器学习小组聚会上演示时的启发。这是一个更加“软件工程”的想法（如果你允许的话），同时也提高了我与应用程序开发和 GenAI 相关事务相关的技能

注意：该项目是在 Apple Silicon 芯片上开发的！

描述

IUYS 是一款能够理解您的图像或屏幕截图的工具，以便您能够执行查询并找到类似“Google 搜索”风格的相关结果

使用的工具

注意：此用法中的 lancedb 是一个嵌入式数据库，一旦我们关闭工具，它就会丢失所有上下文。我们通过创建转储文件并在工具再次初始化时加载它来保留上下文

• pyee（事件经纪人）
• 看门狗（文件监视程序）
• lancedb（矢量存储）
• mlx-vlm（视觉语言模型框架）

流量

创作流程

待办事项清单

一般的

• 异常处理
• 转换为基于 CLI 的工具
  • 允许被其他程序用作外部 sidecar
• 测试
• 更改保存键值存储

文件观察者

• 接收文件创建事件并发送给队列工作人员
• 仅按图像过滤文件事件
• 通过校验和识别文件以决定是否执行 VLM 操作
• 异常处理
• 测试

队列工作者

• 从文件观察器接收文件创建事件
  • 过滤任何不相关的事件
  • 任务事件到队列
• 优化？
• 异常处理
• 测试

奥库

• 从 Queue Worker 接收新任务并执行推理

• 允许通过 CLI 参数更改“允许列表”模型

• 测试

• 优化

  • 目前加载到我的 M3 Pro 36GB RAM 中的模型消耗 25GB！ <-（哎呀）

矢量商店

• 将 OCU 推理接收到嵌入中并将其存储到向量存储中
• 检索管道
• 测试