iuys

IUYS (スクリーンショットをインテリジェントに理解する)

について

Sam Witteveen の Machine Learning Singapore グループミートアップでのデモンストレーション中にインスピレーションを得たもの。これは、このアイデアを (許可していただければ) より「ソフトウェア エンジニアリング」的に解釈したものであり、アプリケーション開発と GenAI 関連事項に関する私のスキルを向上させるためでもあります。

注: このプロジェクトは Apple Silicon チップ上で開発されています。

説明

IUYS は、画像やスクリーンショットを理解してクエリを実行し、「Google 検索」スタイルで関連する結果を見つけることができるツールです。

使用したツール

注: この使用法における lancedb は組み込みデータベースであり、ツールをシャットダウンするとすべてのコンテキストが失われます。ダンプ ファイルを作成し、ツールが再度初期化されるときにそれをロードし直すことでコンテキストを保持します。

• pyee (イベントブローカー)
• ウォッチドッグ (ファイルウォッチャー)
• lancedb (ベクターストア)
• mlx-vlm (ビジュアル言語モデル フレームワーク)

フロー

作成の流れ

やることリスト

一般的な

• 例外処理
• CLI ベースのツールに変換する
  • 他のプログラムによる外部サイドカーとしての使用を許可する
• テスト
• キーバリューストアの保存の変更

ファイルウォッチャー

• ファイル作成イベントを受信し、キューワーカーに送信します
• ファイルイベントを画像のみでフィルタリングする
• チェックサムによってファイルを識別し、VLM 操作を実行するかどうかを決定します
• 例外処理
• テスト

キューワーカー

• File Watcherからファイル作成イベントを受信する
  • 無関係なイベントをフィルタリングする
  • イベントをキューに入れる
• 最適化？
• 例外処理
• テスト

大学

• キューワーカーから新しいタスクを受け取り、推論を実行します

• CLI 引数を介して「許可された」モデルの変更を許可します。

• テスト

• 最適化

  • 現在、M3 Pro 36GB RAM にロードされているモデルは 25GB を消費します。 <- (すごい)

ベクターストア

• OCU 推論を受信して​​エンベディングにし、それをベクトル ストアに保存します
• 取得パイプライン
• テスト