meme search engine

Meme-Suchmaschine

Haben Sie einen großen Ordner mit Memes, den Sie semantisch durchsuchen möchten? Haben Sie einen Linux-Server mit einer Nvidia-GPU? Du tust; Dies ist nun verpflichtend.

Merkmale

Man sagt, ein Bild sagt mehr als tausend Worte. Leider lassen sich viele (die meisten?) Wortgruppen nicht ausreichend durch Bilder beschreiben. Egal, hier ist ein Bild. Sie können hier eine laufende Instanz verwenden.

• Infinite-Scroll-Masonry-Benutzeroberfläche für eine dichte Meme-Anzeige.
• Online-Neuindizierung (ein guter Grund, sie anstelle des Clip-Abrufs zu verwenden) – Laden Sie Memes ohne einen langsamen, teuren Neuaufbauschritt neu.
• Unterstützung komplexer Abfragen – Abfrage mithilfe von Text und Bildern, einschließlich mehrerer Begriffe gleichzeitig, mit Gewichtung (einschließlich negativ).
• Relativ schnell.

Aufstellen

Dies ist ungetestet. Es könnte funktionieren. Die neue Rust-Version vereinfacht einige Schritte (sie integriert ein eigenes Miniaturbild).

• Stellen Sie Ihre Meme-Bibliothek von einem statischen Webserver aus bereit.
  • Ich verwende Nginx. Wenn Sie es eilig haben, können Sie python -m http.server verwenden.
• Installieren Sie Python-Abhängigkeiten mit pip aus requirements.txt (die Versionen sollten wahrscheinlich nicht genau übereinstimmen müssen, wenn Sie sie ändern müssen; ich habe einfach das eingegeben, was ich derzeit installiert habe).
  • Aufgrund der SigLIP-Unterstützung benötigen Sie jetzt eine gepatchte Version der transformers . OpenCLIP unterstützt SigLIP. Das benutze ich jetzt.
  • Ich habe genau ein SigLIP-Modell konvertiert: https://huggingface.co/gollark/siglip-so400m-14-384. Es ist anscheinend das Beste. Wenn es Ihnen nicht gefällt, erfahren Sie, wie Sie mehr konvertieren können. Sie müssen dieses Repo herunterladen. Sie können jedes OpenCLIP-Modell verwenden, das OpenCLIP unterstützt.
• Führen Sie thumbnailer.py aus (in regelmäßigen Abständen, idealerweise gleichzeitig mit dem Neuladen des Index).
• Führen Sie clip_server.py aus (als Hintergrunddienst).
  • Es wird mit einer JSON-Datei konfiguriert, die ihm als erstes Argument übergeben wird. Ein Beispiel finden Sie in clip_server_config.json .
    • device sollte wahrscheinlich cuda oder cpu sein. Das Modell läuft hier weiter.
    • model ist das zu verwendende OpenCLIP-Modell der Pfad zum SigLIP-Modell-Repository.
    • model_name ist der Name des Modells für Metrikzwecke.
    • max_batch_size steuert die maximal zulässige Batchgröße. Höhere Werte führen im Allgemeinen zu einer etwas besseren Leistung (der Engpass liegt derzeit jedoch in den meisten Fällen woanders), auf Kosten einer höheren VRAM-Nutzung.
    • port ist der Port, auf dem der HTTP-Server ausgeführt wird.
• meme-search-engine (Rust) erstellen und ausführen (auch als Hintergrunddienst).
  • Dies muss an einer Stelle verfügbar gemacht werden, an der das Frontend darauf zugreifen kann. Konfigurieren Sie Ihren Reverse-Proxy entsprechend.
  • Es gibt auch eine JSON-Konfigurationsdatei.
    • clip_server ist die vollständige URL für den Backend-Server.
    • db_path ist der Pfad für die SQLite-Datenbank mit Bildern und Einbettungsvektoren.
    • files ist der Ort, aus dem Meme-Dateien gelesen werden. Unterverzeichnisse werden indiziert.
    • port ist der Port, auf dem HTTP bereitgestellt werden soll.
    • Wenn Sie die Bereitstellung öffentlich durchführen, setzen Sie enable_thumbs auf true um komprimierte Bilder bereitzustellen.
• Erstellen Sie Clipfront2 und hosten Sie es auf Ihrem bevorzugten statischen Webserver.
  • npm install , node src/build.js .
  • Sie müssen es jedes Mal neu erstellen, wenn Sie frontend_config.json bearbeiten.
    • image_path ist die Basis-URL Ihres Meme-Webservers (mit abschließendem Schrägstrich).
    • backend_url ist die URL, unter mse.py verfügbar gemacht wird (abschließender Schrägstrich wahrscheinlich optional).
• Wenn Sie möchten, konfigurieren Sie Prometheus für die Überwachung clip_server.py .

MemeThresher

Informationen zu MemeThresher, dem neuen automatischen Meme-Erfassungs-/Bewertungssystem (unter meme-rater ), finden Sie hier. Es dürfte etwas schwierig sein, es selbst bereitzustellen, sollte aber im Großen und Ganzen machbar sein:

1. Bearbeiten Sie crawler.py mit Ihrer eigenen Quelle und führen Sie es aus, um einen ersten Datensatz zu sammeln.
2. Führen Sie mse.py mit einer Konfigurationsdatei wie der bereitgestellten aus, um es zu indizieren.
3. Verwenden Sie rater_server.py um einen ersten Datensatz von Paaren zu sammeln.
4. Kopieren Sie es auf einen Server mit einer GPU und verwenden Sie train.py um ein Modell zu trainieren. Möglicherweise müssen Sie die Hyperparameter anpassen, da ich keine Ahnung habe, welche gut sind.
5. Verwenden Sie active_learning.py am besten verfügbaren Prüfpunkt, um neue Paare zu bewerten.
6. Verwenden Sie copy_into_queue.py , um die neuen Paare in die Warteschlange rater_server.py zu kopieren.
7. Bewerten Sie die resultierenden Paare.
8. Wiederholen Sie die Schritte 4 bis 7, bis Sie mit Ihrem Modell zufrieden sind.
9. Stellen Sie library_processing_server.py bereit und planen Sie die regelmäßige Ausführung meme_pipeline.py .

Skalierung

Die Meme-Suchmaschine verwendet einen speicherinternen FAISS-Index, um ihre Einbettungsvektoren zu speichern, weil ich faul war und sie gut funktioniert (~100 MB Gesamt-RAM für meine 8000 Memes). Wenn Sie deutlich mehr speichern möchten, müssen Sie auf einen effizienteren/kompakteren Index umsteigen (siehe hier). Da Vektorindizes ausschließlich im Speicher gespeichert werden, müssen Sie sie entweder auf der Festplatte speichern oder Indizes verwenden, die sich schnell erstellen/entfernen/hinzufügen lassen (vermutlich PCA/PQ-Indizes). Irgendwann, wenn Sie den Gesamtverkehr erhöhen, kann das CLIP-Modell auch zu einem Engpass werden, da ich auch keine Batch-Strategie habe. Die Indizierung ist derzeit GPU-gebunden, da das neue Modell bei hohen Stapelgrößen etwas langsamer erscheint und ich die Pipeline zum Laden von Bildern verbessert habe. Möglicherweise möchten Sie auch die angezeigten Memes verkleinern, um den Bandbreitenbedarf zu senken.