iuys

IUYS (Ihre Screenshots intelligent verstehen)

Um

Inspiriert von Sam Witteveen während seiner Demonstration beim Gruppentreffen „Machine Learning“ in Singapur. Dies ist eine eher „softwaretechnische“ Herangehensweise an die Idee (wenn Sie mir erlauben) und auch dazu, meine Fähigkeiten in Bezug auf Anwendungsentwicklung und GenAI-bezogene Themen zu verbessern

Hinweis: Dieses Projekt wurde auf einem Apple Silicon Chip entwickelt!

Beschreibung

IUYS ist ein Tool, das Ihre Bilder oder Screenshots versteht, damit Sie Abfragen durchführen und die relevanten Ergebnisse im Stil der „Google-Suche“ finden können

Verwendete Werkzeuge

Hinweis: Bei dieser Verwendung handelt es sich bei lancedb um eine eingebettete Datenbank. Sobald wir die Tools herunterfahren, verliert sie jeglichen Kontext. Wir behalten den Kontext bei, indem wir eine Dump-Datei erstellen und diese wieder laden, wenn das Tool erneut initialisiert wird

• pyee (Event-Broker)
• Watchdog (Dateibeobachter)
• lancedb (Vektorshop)
• mlx-vlm (Framework für visuelle Sprachmodelle)

Fließt

Schöpfungsfluss

Aufgabenliste

Allgemein

• Ausnahmebehandlung
• Konvertieren Sie in ein CLI-basiertes Tool
  • Kann von anderen Programmen als externer Beiwagen verwendet werden
• Testen
• Änderung des Speicherschlüsselwertspeichers

Dateibeobachter

• Empfangen Sie Dateierstellungsereignisse und senden Sie sie an den Warteschlangenarbeiter
• Dateiereignis nur nach Bildern filtern
• Identifizieren Sie die Datei anhand ihrer Prüfsummen, um zu entscheiden, ob VLM-Operationen durchgeführt werden sollen
• Ausnahmebehandlung
• Testen

Warteschlangenarbeiter

• Empfangen Sie Dateierstellungsereignisse von File Watcher
  • Filtern Sie alle nicht zusammenhängenden Ereignisse
  • Aufgabenereignisse in einer Warteschlange
• Optimierung?
• Ausnahmebehandlung
• Testen

OCU

• Empfangen Sie neue Aufgaben vom Warteschlangenarbeiter und führen Sie Rückschlüsse durch

• Erlauben Sie die Änderung der „Liste der zulässigen“ Modelle über CLI-Argumente

• Testen

• Optimierung

  • Derzeit verbrauchen die Modelle, die in meinen M3 Pro 36 GB RAM geladen werden, 25 GB!! <- (YIKES)

Vektorspeicher

• Empfangen Sie OCU-Schlussfolgerungen in Einbettungen und speichern Sie sie im Vektorspeicher
• Abrufpipeline
• Testen