iuys

IUYS (Comprendre intelligemment vos captures d'écran)

À propos

Inspiré par Sam Witteveen lors de sa démonstration lors de la rencontre du groupe Machine Learning Singapore. Il s'agit d'une approche plus "génie logiciel" de l'idée (si vous me le permettez) et également d'améliorer mes compétences en matière de développement d'applications et de questions liées à GenAI.

Remarque : Ce projet est développé sur une puce Apple Silicon !

Description

IUYS est un outil qui comprend vos images ou captures d'écran pour que vous puissiez effectuer une requête et trouver les résultats pertinents à la manière de "Recherche Google".

Outils utilisés

Remarque : lancedb dans cet usage est une base de données intégrée, une fois que nous arrêtons l'outil, il perd tout son contexte. Nous conservons le contexte en créant un fichier de vidage et en le rechargeant lorsque l'outil s'initialise à nouveau

• pyee (courtier d'événements)
• Chien de garde (observateur de fichiers)
• lancedb (magasin de vecteurs)
• mlx-vlm (cadre de modèle de langage visuel)

Flux

Flux de création

Liste de tâches

Général

• Gestion des exceptions
• Convertir en outil basé sur CLI
  • Autoriser à être utilisé par un autre programme comme side-car externe
• Essai
• Modification du magasin de valeurs-clés de sauvegarde

Observateur de fichiers

• Recevoir les événements de création de fichiers et les émettre vers le travailleur de file d'attente
• Filtrer l'événement de fichier uniquement par images
• Identifiez le fichier par ses sommes de contrôle pour décider d'effectuer ou non des opérations VLM.
• Gestion des exceptions
• Essai

Travailleur de file d'attente

• Recevoir les événements de création de fichiers de File Watcher
  • Filtrer tous les événements sans rapport
  • Événements de tâches dans une file d'attente
• Optimisation?
• Gestion des exceptions
• Essai

OCU

• Recevoir de nouvelles tâches du travailleur de file d'attente et effectuer une inférence

• Autoriser la modification de la « liste des modèles autorisés » via les arguments CLI

• Essai

• Optimisation

  • Actuellement, les modèles chargés dans mon M3 Pro 36 Go de RAM consomment 25 Go !! <- (OUI)

Magasin de vecteurs

• Recevez les inférences OCU dans les intégrations et stockez-les dans un magasin de vecteurs
• Pipeline de récupération
• Essai