Qmedia

كيوميديا

محرك بحث محتوى AI مصمم خصيصًا لمنشئي المحتوى.

الإنجليزية | 简体中文

سجل التغيير - الإبلاغ عن المشكلات - ميزة الطلب

الميزات الرئيسية

• ابحث عن الصور/النصوص ومواد الفيديو القصيرة.
• تحليل الصورة/النص ومحتوى الفيديو القصير بكفاءة، ودمج المعلومات المتفرقة.
• توفير مصادر المحتوى وتفكيك معلومات الصورة/النص والفيديو القصير، وتقديم المعلومات من خلال بطاقات المحتوى.
• قم بإنشاء نتائج بحث مخصصة بناءً على اهتمامات المستخدم واحتياجاته من محتوى الصورة/النص والفيديو القصير.
• النشر المحلي، مما يتيح البحث عن المحتوى دون اتصال بالإنترنت والأسئلة والأجوبة للبيانات الخاصة.

دليل

• ؟ مقدمة
• ؟ نظرة عامة على الميزات
  • 1 بطاقة محتوى
  • 2 خرقة محتوى متعدد الوسائط
  • 3 نماذج متعددة الوسائط محلية خالصة
• ؟ تعليمات التثبيت
  • تثبيت mm_server
  • تثبيت mmrag_server
  • تثبيت qmedia_web
• ️ الاستخدام
  • الاستخدام المشترك
  • خدمة نموذجية مستقلة
  • الوسائط المتعددة المحلية النقية

؟ مقدمة

QMedia هو محرك بحث مفتوح المصدر لمحتوى الوسائط المتعددة يعمل بالذكاء الاصطناعي، ويوفر طرقًا غنية لاستخراج المعلومات للنص/الصورة ومحتوى الفيديو القصير. فهو يدمج النص/الصورة غير المنظمة ومعلومات الفيديو القصيرة لإنشاء نظام أسئلة وأجوبة لمحتوى RAG متعدد الوسائط. الهدف هو مشاركة وتبادل الأفكار حول إنشاء محتوى الذكاء الاصطناعي بطريقة مفتوحة المصدر. مشاكل

شارك QMedia مع أصدقائك.

إثارة أفكار جديدة لإنشاء المحتوى

	انضم إلى مجتمع Discord الخاص بنا!
	انضم إلى مجموعة WeChat الخاصة بنا!

؟ نظرة عامة على الميزات

• بطاقات المحتوى

  • عرض محتوى الصورة/النص والفيديو على شكل بطاقات
  • Web Service مستوحاة من إصدار الويب XHS، ويتم تنفيذها باستخدام مجموعة التكنولوجيا من Typescript وNext.js وTailwindCSS وShadcn/UI
  • تم تنفيذ RAG Search/Q&A Service Image/Text/Video Model Service باستخدام إطار عمل Python وتطبيقات LlamaIndex
  • يمكن نشر خدمة الويب RAG Search/Q&A Service Image/Text/Video Model Service بشكل منفصل للنشر المرن استنادًا إلى موارد المستخدم، ويمكن تضمينها في أنظمة أخرى لاستخراج محتوى الصورة/النص والفيديو.
  
  

• محتوى الوسائط المتعددة RAG

  • ابحث عن الصور/النصوص ومواد الفيديو القصيرة.
  • استخرج معلومات مفيدة من محتوى الصورة/النص والفيديو القصير بناءً على استعلامات المستخدم لإنشاء إجابات عالية الجودة.
  • تقديم مصادر المحتوى وتقسيم معلومات الصورة/النص والفيديو القصير من خلال بطاقات المحتوى.
  • يعتمد الاسترجاع والأسئلة والأجوبة على تقسيم محتوى الصورة/النص والفيديو القصير، بما في ذلك نمط الصورة وتخطيط النص ونسخ الفيديو القصير وملخصات الفيديو وما إلى ذلك.
  • دعم البحث في محتوى جوجل.
  

• نماذج متعددة الوسائط محلية خالصة

  نشر أنواع مختلفة من النماذج محليًا. الانفصال عن طبقة تطبيق RAG، مما يسهل استبدال النماذج المختلفة. إدارة دورة حياة النموذج المحلي، قابلة للتكوين للإصدار اليدوي أو التلقائي لتقليل حمل الخادم

  نماذج اللغة :

  • دعم تبديل نموذج Ollama المحلي.
    • llama3:8b-instruct النشر المحلي الخفيف لنماذج LLM.
    • llama3:70b-instruct المركز الثامن في نماذج LLM مفتوحة المصدر.

  نماذج تضمين الميزات :

  • تضمين الصور: CLIP Encoder تحويل الصور إلى ميزة ترميز النص.
  • تضمين النص: نموذج مضمن متعدد اللغات لـ BGE Encoder، يحول النص إلى ترميز مميز، مع محاذاة النماذج المحلية إلى GPT Encoder.

  نماذج الصور :

  • التعرف على نص الصورة عبر التعرف الضوئي على الحروف: قاعدة المعرفة المحلية Qanything نظام الأسئلة والأجوبة التعرف الضوئي على الحروف

  • نماذج الفهم البصري:

    • llava-llama3: نموذج الفهم البصري لمستوى GPT-4V الذي تم نشره محليًا من شركة Ollama.

  نماذج الفيديو

  • نسخ الفيديو:
    • Faster Whisper: استخراج محتوى نسخ الفيديو بسرعة، ويمكن تشغيله على وحدة المعالجة المركزية المحلية.
  • تلخيص محتوى الفيديو القصير القائم على LLM
  • تحديد النقاط البارزة في مقاطع الفيديو القصيرة
  • التعرف على أنواع أنماط الفيديو القصير
  • تحليل وتقسيم محتوى الفيديو القصير

الخطط المستقبلية

• تحليل محتوى الفيديو القصير للصور/النص وتقسيم المحتوى الفيروسي
• ابحث عن صورة/نص/فيديو مماثل
• صورة البطاقة/إنشاء محتوى النص
• تحرير محتوى الفيديو القصير

---

؟ تثبيت

مقدمة هيكل الملف

خدمات QMedia: اعتمادًا على توفر الموارد، يمكن نشرها محليًا أو يمكن نشر الخدمات النموذجية في السحابة

تثبيت mm_server

• خدمة النماذج المتعددة الوسائط mm_server :

  • نشر النماذج المتعددة الوسائط واستدعاءات واجهة برمجة التطبيقات (API).

  • نماذج أولاما LLM

  • نماذج الصور

  • نماذج الفيديو

  • نماذج تضمين الميزة

    
    

تثبيت mmrag_server

• خدمة البحث عن المحتوى والأسئلة والأجوبة mmrag_server :

  • عرض بطاقة المحتوى والاستعلام عنها

  • خدمة استخراج محتوى الصور/النصوص/الفيديو القصير وتضمينه وتخزينه

  • خدمة استرجاع البيانات متعددة الوسائط RAG

  • خدمة أسئلة وأجوبة المحتوى

    
    

تثبيت qmedia_web

• خدمة الويب qmedia_web : اللغة: إطار عمل TypeScript: Next.js التصميم: مكونات Tailwind CSS: shadcn/ui

---

️ الاستخدام

الاستخدام المشترك

mm_server + qmedia_web + mmrag_server عرض محتوى صفحة الويب، بحث RAG للمحتوى والأسئلة والأجوبة، الخدمة النموذجية

1. عملية بدء الخدمة:

 # Start mm_server service
cd mm_server
source activate qllm
python main.py

# Start mmrag_server service
cd mmrag_server
source activate qmedia
python main.py

# Start qmedia_web service
cd qmedia_web
pnpm dev

2. استخدام الوظائف عبر صفحة الويب أثناء مرحلة بدء التشغيل، سوف يقرأ mmrag_server البيانات الزائفة من assets/medias assets/mm_pseudo_data.json ، ويستدعي mm_server لاستخراج المعلومات من النص/الصورة ومقاطع الفيديو القصيرة وتنظيمها في معلومات node ، والتي يتم بعد ذلك المخزنة في db . سيتم الاسترجاع والأسئلة والأجوبة بناءً على البيانات الموجودة في db .

البيانات المخصصة

 # assets file structure
assets
├── mm_pseudo_data.json # Content card data
└── medias # Image/Video files

استبدل المحتويات الموجودة في assets واحذف ملف db المخزن تاريخياً. تحتوي assets/medias على ملفات صور/فيديو، والتي يمكن استبدالها بملفات الصور/الفيديو الخاصة بك. تحتوي assets/mm_pseudo_data.json على بيانات بطاقة المحتوى، والتي يمكن استبدالها ببيانات بطاقة المحتوى الخاصة بك. بعد تشغيل الخدمة، سيقوم النموذج تلقائيًا باستخراج المعلومات وتخزينها في db .

---

خدمة النموذج المستقل

يمكن استخدام خدمة استخراج معلومات الصور/النصوص/الفيديو المحلية mm_server بشكل مستقل. يمكن استخدامه كترميز مستقل للصور، وترميز النص، واستخراج نسخ الفيديو، وخدمة التعرف الضوئي على الحروف للصور، ويمكن الوصول إليها عبر واجهة برمجة التطبيقات في أي سيناريو.

 # Start mm_server service independently
cd mm_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

محتوى واجهة برمجة التطبيقات:

• http://localhost:50110/docs

خدمة/نموذج خدمة Python RAG النقية

يمكن استخدام mm_server + qmedia_web معًا لإجراء استخراج المحتوى واسترجاع RAG في بيئة Python خالصة عبر واجهات برمجة التطبيقات.

 # Start mmrag_server service independently
cd mmrag_server
python main.py

# uvicorn main:app --reload --host localhost --port 50110

محتوى واجهة برمجة التطبيقات:

• http://localhost:50110/docs
• http://localhost:8001/docs

---

تاريخ النجوم

رخصة

QMedia مرخصة بموجب ترخيص MIT

شكر وتقدير

بفضل QAnything لنماذج التعرف الضوئي على الحروف القوية.

شكرًا لـ llava-llama3 على نماذج رؤية قوية في مجال العلوم.