الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

IUYS (فهم لقطات الشاشة الخاصة بك بذكاء)

عن

مستوحاة من سام ويتفين أثناء عرضه في لقاء مجموعة التعلم الآلي في سنغافورة. يعد هذا بمثابة "هندسة برمجيات" أكثر للفكرة (إذا سمحت لي) وأيضًا لتحسين مهاراتي المتعلقة بتطوير التطبيقات والمسائل المتعلقة بـ GenAI

ملاحظة: تم تطوير هذا المشروع على شريحة Apple Silicon!

وصف

IUYS هي أداة تفهم صورك أو لقطات الشاشة لتتمكن من إجراء الاستعلام والعثور على النتائج ذات الصلة بأسلوب "بحث Google"

الأدوات المستخدمة

ملحوظة: lancedb في هذا الاستخدام عبارة عن قاعدة بيانات مضمنة، وبمجرد إغلاق الأدوات فإنها تفقد كل السياق. نحن نحتفظ بالسياق عن طريق إنشاء ملف تفريغ وتحميله مرة أخرى عند تهيئة الأداة مرة أخرى

  • بايي (وسيط الأحداث)
  • المراقب (مراقب الملفات)
  • لانسيدب (متجر المتجهات)
  • mlx-vlm (إطار عمل نموذج اللغة المرئية)

التدفقات

تدفق الخلق

تدفق الخلق

قائمة المهام

عام

  • معالجة الاستثناء
  • تحويل إلى أداة تعتمد على CLI
    • السماح باستخدامه من قبل برنامج آخر كعربة جانبية خارجية
  • اختبار
  • تغيير مخزن حفظ القيمة الرئيسية

مراقب الملفات

  • تلقي أحداث إنشاء الملف وإرسالها إلى عامل قائمة الانتظار
  • تصفية حدث الملف فقط عن طريق الصور
  • حدد الملف من خلال المجاميع الاختبارية الخاصة به لتقرر ما إذا كنت تريد تنفيذ عمليات VLM أم لا
  • معالجة الاستثناء
  • اختبار

عامل صف

  • تلقي أحداث إنشاء الملف من File Watcher
    • تصفية أي أحداث غير ذات صلة
    • أحداث المهمة إلى قائمة الانتظار
  • تحسين؟
  • معالجة الاستثناء
  • اختبار

OCU

  • تلقي مهام جديدة من عامل قائمة الانتظار وإجراء الاستدلال

  • السماح بتغيير نماذج "قائمة المسموح بها" عبر وسيطات CLI

  • اختبار

  • تحسين

    • حاليًا النماذج التي يتم تحميلها في ذاكرة الوصول العشوائي M3 Pro بسعة 36 جيجابايت تستهلك 25 جيجابايت!! <- (يكيس)

متجر المتجهات

  • تلقي استنتاجات OCU في التضمينات وتخزينها في متجر المتجهات
  • خط أنابيب الاسترجاع
  • اختبار
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل