meme search engine

Moteur de recherche de mèmes

Avez-vous un gros dossier de mèmes dans lequel vous souhaitez effectuer une recherche sémantique ? Avez-vous un serveur Linux avec un GPU Nvidia ? Tu fais; c'est désormais obligatoire.

Caractéristiques

On dit qu’une image vaut mille mots. Malheureusement, de nombreux (la plupart ?) ensembles de mots ne peuvent pas être décrits de manière adéquate par des images. Quoi qu'il en soit, voici une photo. Vous pouvez utiliser une instance en cours d'exécution ici.

• Interface utilisateur de maçonnerie à défilement infini pour une visualisation dense des mèmes.
• Réindexation en ligne (une bonne raison de l'utiliser plutôt que la récupération de clips) - rechargez les mèmes sans une étape de reconstruction lente et coûteuse.
• Prise en charge des requêtes complexes : requête utilisant du texte et des images, incluant plusieurs termes à la fois, avec pondération (y compris négative).
• Assez rapide.

Installation

Ceci n’a pas été testé. Cela pourrait fonctionner. La nouvelle version de Rust simplifie certaines étapes (elle intègre sa propre vignette).

• Servez votre bibliothèque de mèmes à partir d'un serveur Web statique.
  • J'utilise nginx. Si vous êtes pressé, vous pouvez utiliser python -m http.server .
• Installez les dépendances Python avec pip à partir de requirements.txt (les versions ne devraient probablement pas nécessairement correspondre exactement si vous devez les modifier ; je viens de mettre ce que j'ai actuellement installé).
  • Vous avez maintenant besoin d'une version corrigée des transformers en raison de la prise en charge de SigLIP. OpenCLIP prend en charge SigLIP. Je l'utilise maintenant.
  • J'ai converti exactement un modèle SigLIP : https://huggingface.co/gollark/siglip-so400m-14-384. C'est apparemment le meilleur. Si vous ne l’aimez pas, découvrez comment en convertir davantage. Vous devez télécharger ce dépôt. Vous pouvez utiliser n'importe quel modèle OpenCLIP pris en charge par OpenCLIP.
• Exécutez thumbnailer.py (périodiquement, en même temps que le rechargement de l'index, idéalement)
• Exécutez clip_server.py (en tant que service en arrière-plan).
  • Il est configuré avec un fichier JSON qui lui est donné comme premier argument. Un exemple est dans clip_server_config.json .
    • device devrait probablement être cuda ou cpu . Le modèle fonctionnera ici.
    • model est le modèle OpenCLIP à utiliser le chemin d'accès au référentiel de modèles SigLIP.
    • model_name est le nom du modèle à des fins de métriques.
    • max_batch_size contrôle la taille maximale autorisée du lot. Des valeurs plus élevées se traduisent généralement par des performances légèrement meilleures (le goulot d'étranglement dans la plupart des cas se trouve ailleurs à l'heure actuelle) au prix d'une utilisation plus élevée de la VRAM.
    • port est le port sur lequel exécuter le serveur HTTP.
• Créez et exécutez meme-search-engine (Rust) (également en tant que service d'arrière-plan).
  • Cela doit être exposé quelque part que le frontend peut l'atteindre. Configurez votre proxy inverse de manière appropriée.
  • Il contient également un fichier de configuration JSON.
    • clip_server est l'URL complète du serveur backend.
    • db_path est le chemin de la base de données SQLite d'images et de vecteurs d'intégration.
    • files est l'endroit à partir duquel les fichiers mèmes seront lus. Les sous-répertoires sont indexés.
    • port est le port sur lequel servir HTTP.
    • Si vous effectuez un déploiement public, définissez enable_thumbs sur true pour diffuser des images compressées.
• Construisez clipfront2, hébergez-le sur votre serveur Web statique préféré.
  • npm install , node src/build.js .
  • Vous devrez le reconstruire chaque fois que vous modifierez frontend_config.json .
    • image_path est l'URL de base de votre serveur Web de mèmes (avec une barre oblique finale).
    • backend_url est l'URL sur laquelle mse.py est exposé (barre oblique finale probablement facultative).
• Si vous le souhaitez, configurez Prometheus pour surveiller clip_server.py .

MemeThresher

Voir ici pour plus d'informations sur MemeThresher, le nouveau système automatique d'acquisition/évaluation des mèmes (sous meme-rater ). Le déployer vous-même devrait être quelque peu délicat, mais devrait être à peu près réalisable :

1. Modifiez crawler.py avec votre propre source et exécutez-le pour collecter un ensemble de données initial.
2. Exécutez mse.py avec un fichier de configuration comme celui fourni pour l'indexer.
3. Utilisez rater_server.py pour collecter un ensemble de données initial de paires.
4. Copiez sur un serveur avec un GPU et utilisez train.py pour entraîner un modèle. Vous devrez peut-être ajuster les hyperparamètres car je n'ai aucune idée de ceux qui sont bons.
5. Utilisez active_learning.py sur le meilleur point de contrôle disponible pour obtenir de nouvelles paires à évaluer.
6. Utilisez copy_into_queue.py pour copier les nouvelles paires dans la file d'attente rater_server.py .
7. Évaluez les paires résultantes.
8. Répétez 4 à 7 jusqu'à ce que vous vous sentiez suffisamment bien dans votre modèle.
9. Déployez library_processing_server.py et planifiez l'exécution périodique meme_pipeline.py .

Mise à l'échelle

Meme Search Engine utilise un index FAISS en mémoire pour contenir ses vecteurs d'intégration, car j'étais paresseux et cela fonctionne bien (~ 100 Mo de RAM totale utilisée pour mes 8 000 mèmes). Si vous souhaitez stocker beaucoup plus que cela, vous devrez passer à un index plus efficace/compact (voir ici). Comme les indices vectoriels sont conservés exclusivement en mémoire, vous devrez soit les conserver sur le disque, soit utiliser ceux qui sont rapides à créer/supprimer/ajouter (vraisemblablement des indices PCA/PQ). À un moment donné, si vous augmentez le trafic total, le modèle CLIP peut également devenir un goulot d'étranglement, car je n'ai pas non plus de stratégie de traitement par lots. L'indexation est actuellement liée au GPU car le nouveau modèle apparaît un peu plus lent pour les lots de grande taille et j'ai amélioré le pipeline de chargement des images. Vous souhaiterez peut-être également réduire les mèmes affichés pour réduire les besoins en bande passante.