meme search engine

模因搜索引擎

您是否有一个大文件夹想要进行语义搜索？您有配备 Nvidia GPU 的 Linux 服务器吗？你做;现在这是强制性的。

特征

他们说一张图片胜过一千个文字。不幸的是，许多（大多数？）单词组无法通过图片充分描述。无论如何，这是一张照片。您可以在此处使用正在运行的实例。

• 无限滚动砖石 UI，可进行密集模因查看。
• 在线重新索引（使用它而不是剪辑检索的一个很好的理由） - 重新加载模因，而无需缓慢而昂贵的重建步骤。
• 复杂查询支持 - 使用文本和图像进行查询，包括一次包含多个术语，并具有权重（包括负数）。
• 相当快。

设置

这是未经测试的。它可能会起作用。新的 Rust 版本简化了一些步骤（它集成了自己的缩略图）。

• 从静态网络服务器提供您的模因库。
  • 我用的是nginx。如果你赶时间，可以使用python -m http.server 。
• 使用requirements.txt中的pip安装Python依赖项（如果您需要更改版本，则版本可能不需要完全匹配；我只是输入当前已安装的版本）。
  • 由于 SigLIP 支持，您现在需要transformers的修补版本。 OpenCLIP 支持 SigLIP。我现在正在使用它。
  • 我已经转换了一个 SigLIP 模型：https://huggingface.co/gollark/siglip-so400m-14-384。显然这是最好的一个。如果您不喜欢它，请了解如何转换更多。您需要下载该存储库。您可以使用 OpenCLIP 支持的任何 OpenCLIP 模型。
• 运行thumbnailer.py （定期运行，最好与索引重新加载同时运行）
• 运行clip_server.py （作为后台服务）。
  • 它配置有一个 JSON 文件作为其第一个参数。 clip_server_config.json中有一个示例。
    • device可能应该是cuda或cpu 。该模型将在这里运行。
    • model是要使用的 OpenCLIP 模型SigLIP 模型存储库的路径。
    • model_name是用于指标目的的模型名称。
    • max_batch_size控制允许的最大批量大小。较高的值通常会带来更好的性能（但目前大多数情况下瓶颈在其他地方），但代价是更高的 VRAM 使用量。
    • port是运行 HTTP 服务器的端口。
• 构建并运行meme-search-engine (Rust)（也作为后台服务）。
  • 这需要暴露在前端可以到达的地方。适当配置您的反向代理。
  • 它还有一个 JSON 配置文件。
    • clip_server是后端服务器的完整 URL。
    • db_path是图像和嵌入向量的 SQLite 数据库的路径。
    • files是读取模因文件的地方。子目录已建立索引。
    • port是提供 HTTP 服务的端口。
    • 如果您要部署到公共环境，请将enable_thumbs设置为true以提供压缩图像。
• 构建clipfront2，托管在您最喜欢的静态网络服务器上。
  • npm install ， node src/build.js 。
  • 每当您编辑frontend_config.json时，您都需要重建它。
    • image_path是 meme 网络服务器的基本 URL（带有尾部斜杠）。
    • backend_url是mse.py公开的 URL（尾部斜杠可能是可选的）。
• 如果需要，请配置 Prometheus 来监控clip_server.py 。

米姆脱粒机

有关 MemeThresher 的信息，请参阅此处，这是新的自动 meme 获取/评级系统（位于meme-rater下）。自己部署预计会有些棘手，但应该大致可行：

1. 使用您自己的源编辑crawler.py并运行它以收集初始数据集。
2. 使用与提供的配置文件类似的配置文件运行mse.py以对其进行索引。
3. 使用rater_server.py收集初始数据集对。
4. 复制到具有 GPU 的服务器并使用train.py训练模型。您可能需要调整超参数，因为我不知道哪些是好的。
5. 在最佳可用检查点上使用active_learning.py来获取新的对进行评分。
6. 使用copy_into_queue.py将新对复制到rater_server.py队列中。
7. 对结果对进行评分。
8. 重复 4 到 7，直到您对模型感觉足够好。
9. 部署library_processing_server.py并安排meme_pipeline.py定期运行。

缩放

Meme 搜索引擎使用内存中的 FAISS 索引来保存其嵌入向量，因为我很懒，但它工作得很好（我的 8000 个 meme 使用了约 100MB 的总 RAM）。如果您想存储更多的数据，则必须切换到更高效/紧凑的索引（请参见此处）。由于矢量索引仅保存在内存中，因此您需要将它们持久保存到磁盘或使用快速构建/删除/添加的矢量索引（大概是 PCA/PQ 索引）。在某些时候，如果增加总流量，CLIP 模型也可能成为瓶颈，因为我也没有批处理策略。索引目前受 GPU 限制，因为新模型在高批量大小下显得有些慢，并且我改进了图像加载管道。您可能还想缩小显示的模因以减少带宽需求。