iuys

IUYS（智慧理解您的螢幕截圖）

關於

受到 Sam Witteveen 在新加坡機器學習小組聚會上示範時的啟發。這是一個更「軟體工程」的想法（如果你允許的話），同時也提高了我與應用程式開發和 GenAI 相關事務相關的技能

注意：該專案是在 Apple Silicon 晶片上開發的！

描述

IUYS 是一款能夠理解您的圖像或螢幕截圖的工具，以便您能夠執行查詢並找到類似「Google 搜尋」風格的相關結果

使用的工具

注意：此用法中的 lancedb 是一個嵌入式資料庫，一旦我們關閉工具，它就會失去所有上下文。我們透過建立轉儲檔案並在工具再次初始化時載入它來保留上下文

• pyee（事件經紀人）
• 看門狗（文件監視程式）
• lancedb（向量儲存）
• mlx-vlm（視覺語言模型框架）

流量

創作流程

待辦事項清單

一般的

• 例外處理
• 轉換為基於 CLI 的工具
  • 允許被其他程式用作外部 sidecar
• 測試
• 更改保存鍵值存儲

文件觀察者

• 接收文件建立事件並傳送給佇列工作人員
• 僅按影像過濾檔案事件
• 透過校驗和識別檔案以決定是否執行 VLM 操作
• 例外處理
• 測試

隊列工作者

• 從文件觀察器接收文件建立事件
  • 過濾任何不相關的事件
  • 任務事件到佇列
• 最佳化?
• 例外處理
• 測試

奧庫

• 從 Queue Worker 接收新任務並執行推理

• 允許透過 CLI 參數變更「允許清單」模型

• 測試

• 最佳化

  • 目前加載到我的 M3 Pro 36GB RAM 中的型號消耗 25GB！ <-（哎呀）

向量商店

• 將 OCU 推理接收到嵌入中並將其儲存到向量儲存中
• 檢索管道
• 測試