meme search engine

ミーム検索エンジン

意味的に検索したいミームの大きなフォルダーがありますか? Nvidia GPU を搭載した Linux サーバーはありますか?あなたがやる;これは現在必須です。

特徴

百聞は一見に如かずと言います。残念ながら、多くの (ほとんどの?) 単語セットは、絵では適切に説明できません。それはともかく、ここに写真があります。ここで実行中のインスタンスを使用できます。

• 無限スクロール石積み UI により、高密度のミームを閲覧できます。
• オンラインの再インデックス (クリップ取得ではなくこれを使用する十分な理由) - 時間と費用のかかる再構築手順を行わずにミームを再ロードします。
• 複雑なクエリのサポート - 重み付け (負の値を含む) を使用して、一度に複数の用語を含むテキストと画像を使用したクエリ。
• かなり速い。

設定

これは未テストです。それはうまくいくかもしれません。新しい Rust バージョンでは、いくつかの手順が簡素化されています (独自のサムネイルが統合されています)。

• 静的 Web サーバーからミーム ライブラリを提供します。
  • 私はnginxを使用しています。急いでいる場合は、 python -m http.server使用できます。
• Python の依存関係を、 requirements.txtのpipを使用してインストールします (バージョンを変更する必要がある場合、バージョンが正確に一致する必要はおそらくありません。現在インストールしているものをそのまま入力します)。
  • SigLIP がサポートされているため、 transformersのパッチ適用済みバージョンが必要になります。 OpenCLIP は SigLIP をサポートします。今はそれを使っています。
  • 私はちょうど 1 つの SigLIP モデルを変換しました: https://huggingface.co/gollark/siglip-so400m-14-384。どうやらそれが一番良いようです。気に入らない場合は、さらに変換する方法を見つけてください。そのリポジトリをダウンロードする必要があります。 OpenCLIP がサポートする任意の OpenCLIP モデルを使用できます。
• thumbnailer.pyを実行します (定期的に、理想的にはインデックスのリロードと同時に)
• (バックグラウンド サービスとして) clip_server.py実行します。
  • これは、最初の引数として指定された JSON ファイルを使用して構成されます。例は、 clip_server_config.jsonにあります。
    • deviceおそらくcudaまたはcpuであるはずです。モデルはここで実行されます。
    • modelは使用する OpenCLIP モデルSigLIP モデル リポジトリへのパス。
    • model_nameメトリクスを目的としたモデルの名前です。
    • max_batch_size許可される最大バッチ サイズを制御します。一般に、値を高くすると、VRAM の使用量が多くなりますが、パフォーマンスが多少向上します (ただし、ほとんどの場合、ボトルネックは現時点では別の場所にあります)。
    • port 、HTTP サーバーを実行するポートです。
• meme-search-engine (Rust) をビルドして実行します (バックグラウンド サービスとしても)。
  • これは、フロントエンドが到達できる場所で公開する必要があります。リバース プロキシを適切に構成します。
  • JSON 構成ファイルもあります。
    • clip_serverバックエンド サーバーの完全な URL です。
    • db_path 、画像と埋め込みベクトルの SQLite データベースのパスです。
    • files 、meme ファイルの読み取り元です。サブディレクトリにはインデックスが付けられます。
    • port HTTP を提供するポートです。
    • パブリックにデプロイする場合は、圧縮イメージを提供するには、 enable_thumbs trueに設定します。
• Clipfront2 をビルドし、お気に入りの静的 Web サーバーでホストします。
  • npm install 、 node src/build.js 。
  • frontend_config.json編集するたびに再構築する必要があります。
    • image_pathミーム Web サーバーのベース URL (末尾にスラッシュが付きます) です。
    • backend_urlは、 mse.pyが公開されている URL です (末尾のスラッシュはおそらくオプションです)。
• 必要に応じて、 clip_server.py監視するように Prometheus を構成します。

ミームスレッシャー

新しい自動ミーム取得/評価システム ( meme-raterの下) MemeThresher については、こちらを参照してください。自分でデプロイするのは多少難しいことが予想されますが、おおよそ実行できるはずです。

1. 独自のソースを使用してcrawler.py編集し、それを実行して初期データセットを収集します。
2. 提供されているような構成ファイルを使用してmse.py実行し、インデックスを付けます。
3. rater_server.pyを使用して、ペアの初期データセットを収集します。
4. GPU を備えたサーバーにコピーし、 train.py使用してモデルをトレーニングします。どのハイパーパラメータが良いのかわからないので、ハイパーパラメータを調整する必要があるかもしれません。
5. 利用可能な最良のチェックポイントでactive_learning.py使用して、評価する新しいペアを取得します。
6. copy_into_queue.pyを使用して、新しいペアをrater_server.pyキューにコピーします。
7. 結果のペアを評価します。
8. モデルについて十分な満足感が得られるまで、4 ～ 7 を繰り返します。
9. library_processing_server.pyをデプロイし、 meme_pipeline.py定期的に実行するようにスケジュールします。

スケーリング

ミーム検索エンジンは、埋め込みベクトルを保持するためにメモリ内の FAISS インデックスを使用します。これは、私が怠け者だったためであり、正常に動作します (8000 個のミームに使用される合計 RAM は約 100MB)。それよりも大幅に多くのインデックスを保存したい場合は、より効率的でコンパクトなインデックスに切り替える必要があります (ここを参照)。ベクトル インデックスはメモリ内に排他的に保持されるため、ベクトル インデックスをディスクに永続化するか、構築/削除/追加が高速なインデックス (おそらく PCA/PQ インデックス) を使用する必要があります。ある時点で総トラフィックが増加すると、バッチ処理戦略がないため、CLIP モデルもボトルネックになる可能性があります。新しいモデルはバッチサイズが大きいと若干遅くなり、画像読み込みパイプラインを改善したため、インデックス作成は現在 GPU に依存しています。必要な帯域幅を削減するために、表示されるミームを縮小することもできます。