meme search engine

ميمي محرك البحث

هل لديك مجلد كبير من الميمات التي تريد البحث عنها لغويا؟ هل لديك خادم Linux مزود بوحدة معالجة الرسومات Nvidia؟ أنت تفعل؛ هذا أصبح إلزاميا الآن.

سمات

يقولون أن الصورة تساوي ألف كلمة. لسوء الحظ، لا يمكن وصف العديد من مجموعات الكلمات (معظمها؟) بشكل كافٍ من خلال الصور. بغض النظر، هنا صورة. يمكنك استخدام مثيل قيد التشغيل هنا.

• واجهة مستخدم البناء ذات التمرير اللانهائي لعرض الميمات الكثيفة.
• إعادة الفهرسة عبر الإنترنت (سبب وجيه لاستخدامها عبر استرجاع المقاطع) - إعادة تحميل الميمات دون خطوة إعادة بناء بطيئة ومكلفة.
• دعم الاستعلام المعقد - الاستعلام باستخدام النصوص والصور، بما في ذلك مصطلحات متعددة في وقت واحد، مع الترجيح (بما في ذلك السلبي).
• سريع إلى حد معقول.

يثبت

هذا لم يتم اختباره. ربما ينجح الأمر. يعمل إصدار Rust الجديد على تبسيط بعض الخطوات (يدمج الصورة المصغرة الخاصة به).

• قم بخدمة مكتبة الميمات الخاصة بك من خادم ويب ثابت.
  • أنا أستخدم نجينكس. إذا كنت في عجلة من أمرك، يمكنك استخدام python -m http.server .
• قم بتثبيت تبعيات Python باستخدام pip من requirements.txt (ربما لا يلزم أن تتطابق الإصدارات تمامًا إذا كنت بحاجة إلى تغييرها؛ لقد قمت فقط بإدخال ما قمت بتثبيته حاليًا).
  • أنت الآن بحاجة إلى نسخة مصححة من transformers بسبب دعم SigLIP. يدعم OpenCLIP SigLIP. أنا الآن أستخدم ذلك.
  • لقد قمت بتحويل نموذج SigLIP واحد بالضبط: https://huggingface.co/gollark/siglip-so400m-14-384. يبدو أنه الأفضل. إذا لم يعجبك، اكتشف كيفية تحويل المزيد. تحتاج إلى تنزيل هذا الريبو. يمكنك استخدام أي نموذج OpenCLIP يدعمه OpenCLIP.
• قم بتشغيل thumbnailer.py (بشكل دوري، في نفس وقت إعادة تحميل الفهرس، بشكل مثالي)
• قم بتشغيل clip_server.py (كخدمة خلفية).
  • تم تكوينه باستخدام ملف JSON المعطى له كوسيطة أولى. يوجد مثال في clip_server_config.json .
    • من المحتمل أن يكون device cuda أو cpu . سيتم تشغيل النموذج هنا.
    • model هو نموذج OpenCLIP الذي سيتم استخدامه المسار إلى مستودع نموذج SigLIP.
    • model_name هو اسم النموذج لأغراض المقاييس.
    • يتحكم max_batch_size في الحد الأقصى لحجم الدفعة المسموح بها. تؤدي القيم الأعلى عمومًا إلى أداء أفضل إلى حد ما (يوجد عنق الزجاجة في معظم الحالات في مكان آخر الآن) على حساب استخدام VRAM أعلى.
    • port هو المنفذ الذي سيتم تشغيل خادم HTTP عليه.
• إنشاء وتشغيل meme-search-engine (Rust) (كخدمة خلفية أيضًا).
  • يجب أن يتم الكشف عن هذا في مكان يمكن أن تصل إليه الواجهة الأمامية. قم بتكوين الوكيل العكسي الخاص بك بشكل مناسب.
  • يحتوي أيضًا على ملف تكوين JSON.
    • clip_server هو عنوان URL الكامل لخادم الواجهة الخلفية.
    • db_path هو المسار لقاعدة بيانات SQLite للصور والمتجهات المضمنة.
    • files هي المكان الذي سيتم قراءة ملفات meme منه. تتم فهرسة الدلائل الفرعية.
    • port هو المنفذ الذي سيتم خدمة HTTP عليه.
    • إذا كنت تقوم بالنشر إلى المجموعة العامة، قم enable_thumbs على true لعرض الصور المضغوطة.
• أنشئ clipfront2 واستضفه على خادم الويب الثابت المفضل لديك.
  • npm install ، node src/build.js .
  • ستحتاج إلى إعادة بنائه كلما قمت بتحرير frontend_config.json .
    • image_path هو عنوان URL الأساسي لخادم الويب الخاص بك (مع شرطة مائلة زائدة).
    • backend_url هو عنوان URL الذي يتم عرض mse.py عليه (ربما تكون الشرطة المائلة اللاحقة اختيارية).
• إذا أردت، قم بتكوين Prometheus لمراقبة clip_server.py .

ميمي ثريشر

انظر هنا للحصول على معلومات حول MemeThresher، النظام التلقائي الجديد للحصول على/تقييم الميم (تحت meme-rater ). من المتوقع أن يكون نشره بنفسك أمرًا صعبًا إلى حد ما ولكن يجب أن يكون قابلاً للتنفيذ تقريبًا:

1. قم بتحرير crawler.py باستخدام المصدر الخاص بك وقم بتشغيله لتجميع مجموعة بيانات أولية.
2. قم بتشغيل mse.py باستخدام ملف تكوين مثل الملف المقدم لفهرسته.
3. استخدم rater_server.py لجمع مجموعة بيانات أولية من الأزواج.
4. انسخ إلى خادم باستخدام وحدة معالجة الرسومات واستخدم train.py لتدريب النموذج. قد تحتاج إلى ضبط المعلمات الفائقة نظرًا لأنه ليس لدي أي فكرة عن المعلمات الجيدة.
5. استخدم active_learning.py في أفضل نقطة تفتيش متاحة للحصول على أزواج جديدة لتقييمها.
6. استخدم copy_into_queue.py لنسخ الأزواج الجديدة إلى قائمة الانتظار rater_server.py .
7. قيم الأزواج الناتجة.
8. كرر من 4 إلى 7 حتى تشعر بالرضا الكافي تجاه النموذج الخاص بك.
9. قم بنشر library_processing_server.py وجدولة meme_pipeline.py للتشغيل بشكل دوري.

التحجيم

يستخدم محرك بحث Meme فهرس FAISS في الذاكرة للاحتفاظ بمتجهات التضمين الخاصة به، لأنني كنت كسولًا ويعمل بشكل جيد (حوالي 100 ميجابايت من إجمالي ذاكرة الوصول العشوائي المستخدمة في 8000 من الميمات الخاصة بي). إذا كنت تريد تخزين أكثر بكثير من ذلك، فسيتعين عليك التبديل إلى فهرس أكثر كفاءة/إحكاما (انظر هنا). نظرًا لأن مؤشرات المتجهات محفوظة حصريًا في الذاكرة، فستحتاج إما إلى تثبيتها على القرص أو استخدام مؤشرات سريعة الإنشاء/الإزالة من/الإضافة إلى (من المفترض أن تكون مؤشرات PCA/PQ). في مرحلة ما، إذا قمت بزيادة إجمالي حركة المرور، فقد يصبح نموذج CLIP أيضًا عنق الزجاجة، حيث ليس لدي أيضًا أي استراتيجية مجمعة. الفهرسة حاليًا مرتبطة بوحدة معالجة الرسومات نظرًا لأن النموذج الجديد يبدو أبطأ إلى حد ما عند أحجام الدُفعات العالية وقمت بتحسين مسار تحميل الصور. قد ترغب أيضًا في تقليص حجم الميمات المعروضة لتقليل احتياجات النطاق الترددي.