iuys

IUYS (ทำความเข้าใจภาพหน้าจอของคุณอย่างชาญฉลาด)

เกี่ยวกับ

แรงบันดาลใจจาก Sam Witteveen ระหว่างการสาธิตในงานมีตติ้งกลุ่ม Machine Learning Singapore นี่เป็น "วิศวกรรมซอฟต์แวร์" มากกว่าที่จะใช้กับแนวคิดนี้ (หากคุณอนุญาตฉัน) และยังพัฒนาทักษะของฉันที่เกี่ยวข้องกับการพัฒนาแอปพลิเคชันและเรื่องที่เกี่ยวข้องกับ GenAI

หมายเหตุ: โปรเจ็กต์นี้พัฒนาบนชิป Apple Silicon!

คำอธิบาย

IUYS เป็นเครื่องมือที่เข้าใจรูปภาพหรือภาพหน้าจอของคุณเพื่อให้คุณสามารถดำเนินการค้นหาและค้นหาผลลัพธ์ที่เกี่ยวข้องในรูปแบบ "Google Search"

เครื่องมือที่ใช้

หมายเหตุ: lancedb ในการใช้งานนี้เป็นฐานข้อมูลแบบฝัง เมื่อเราปิดเครื่องมือลง บริบททั้งหมดจะสูญเสียไป เรารักษาบริบทโดยการสร้างไฟล์ดัมพ์และโหลดกลับเมื่อเครื่องมือเริ่มต้นอีกครั้ง

• pyee (นายหน้างานอีเว้นท์)
• Watchdog (โปรแกรมเฝ้าดูไฟล์)
• lancedb (ร้านเวกเตอร์)
• mlx-vlm (เฟรมเวิร์กโมเดลภาษาภาพ)

กระแส

กระแสแห่งการสร้างสรรค์

รายการสิ่งที่ต้องทำ

ทั่วไป

• การจัดการข้อยกเว้น
• แปลงเป็นเครื่องมือที่ใช้ CLI
  • อนุญาตให้ใช้โดยโปรแกรมอื่นเป็นรถเทียมข้างรถจักรยานยนต์ภายนอก
• การทดสอบ
• การเปลี่ยนแปลงการบันทึกการจัดเก็บคีย์-ค่า

โปรแกรมดูไฟล์

• รับกิจกรรมการสร้างไฟล์และส่งไปยังผู้ปฏิบัติงานในคิว
• กรองเหตุการณ์ไฟล์ตามรูปภาพเท่านั้น
• ระบุไฟล์ด้วยเช็คซัมเพื่อตัดสินใจว่าจะดำเนินการปฏิบัติการ VLM หรือไม่
• การจัดการข้อยกเว้น
• การทดสอบ

พนักงานคิว

• รับกิจกรรมการสร้างไฟล์จาก File Watcher
  • กรองเหตุการณ์ที่ไม่เกี่ยวข้อง
  • กิจกรรมงานไปยังคิว
• การเพิ่มประสิทธิภาพ?
• การจัดการข้อยกเว้น
• การทดสอบ

โอซียู

• รับงานใหม่จากพนักงานคิวและดำเนินการอนุมาน

• อนุญาตให้เปลี่ยนโมเดล "รายการที่อนุญาต" ผ่านการโต้แย้งของ CLI

• การทดสอบ

• การเพิ่มประสิทธิภาพ

  • ขณะนี้โมเดลที่กำลังโหลดลงใน M3 Pro 36gb RAM ของฉันกินพื้นที่ 25gb!! <- (เย้ย)

ร้านเว็กเตอร์

• รับการอนุมาน OCU ลงในการฝังและจัดเก็บไว้ในร้านค้าเวกเตอร์
• ไปป์ไลน์การดึงข้อมูล
• การทดสอบ