meme search engine

Поисковая система мемов

У вас есть большая папка мемов, которую вы хотите выполнить семантический поиск? У вас есть сервер Linux с графическим процессором Nvidia? Вы делаете; теперь это обязательно.

Функции

Говорят, картинка стоит тысячи слов. К сожалению, многие (большинство?) наборы слов не могут быть адекватно описаны картинками. Несмотря ни на что, вот картинка. Здесь вы можете использовать работающий экземпляр.

• Интерфейс каменной кладки с бесконечной прокруткой для плотного просмотра мемов.
• Онлайн-переиндексация (хорошая причина использовать ее вместо поиска клипов) — перезагрузка мемов без медленного и дорогостоящего этапа восстановления.
• Поддержка сложных запросов — запросы с использованием текста и изображений, включая несколько терминов одновременно, с весом (в том числе отрицательным).
• Достаточно быстро.

Настраивать

Это непроверено. Это может сработать. Новая версия Rust упрощает некоторые шаги (встроена собственная миниатюра).

• Размещайте свою библиотеку мемов со статического веб-сервера.
  • Я использую nginx. Если вы спешите, вы можете использовать python -m http.server .
• Установите зависимости Python с помощью pip из requirements.txt (версии, вероятно, не должны точно совпадать, если вам нужно их изменить; я просто вставил то, что у меня сейчас установлено).
  • Теперь вам нужна исправленная версия transformers из-за поддержки SigLIP. OpenCLIP поддерживает SigLIP. Сейчас я это использую.
  • Я конвертировал ровно одну модель SigLIP: https://huggingface.co/gollark/siglip-so400m-14-384. Это, видимо, лучший вариант. Если вам это не нравится, узнайте, как конвертировать больше. Вам нужно скачать этот репо. Вы можете использовать любую модель OpenCLIP, которую поддерживает OpenCLIP.
• Запускаем thumbnailer.py (периодически, в идеале одновременно с перезагрузкой индекса)
• Запустите clip_server.py (в качестве фоновой службы).
  • Он настраивается с использованием файла JSON в качестве первого аргумента. Пример находится в clip_server_config.json .
    • device вероятно, должно быть cuda или cpu . Модель будет работать здесь.
    • model модель OpenCLIP для использования путь к репозиторию модели SigLIP.
    • model_name — это имя модели для целей метрики.
    • max_batch_size контролирует максимально допустимый размер пакета. Более высокие значения обычно приводят к несколько лучшей производительности (хотя в большинстве случаев узкое место сейчас находится в другом месте) за счет более высокого использования видеопамяти.
    • port — это порт для запуска HTTP-сервера.
• Создайте и запустите meme-search-engine (Rust) (также в качестве фоновой службы).
  • Это должно быть показано там, где интерфейс может достичь этого. Настройте обратный прокси-сервер соответствующим образом.
  • У него также есть файл конфигурации JSON.
    • clip_server — это полный URL-адрес внутреннего сервера.
    • db_path — это путь к базе данных SQLite изображений и векторов внедрения.
    • files — это место, откуда будут считываться файлы мемов. Подкаталоги индексируются.
    • port — это порт для обслуживания HTTP.
    • Если вы выполняете общедоступное развертывание, установите для параметра enable_thumbs значение true , чтобы предоставлять сжатые изображения.
• Создайте clipfront2 и разместите его на своем любимом статическом веб-сервере.
  • npm install , node src/build.js .
  • Вам придется пересобирать его каждый раз, когда вы редактируете frontend_config.json .
    • image_path — это базовый URL-адрес вашего веб-сервера мемов (с косой чертой в конце).
    • backend_url — это URL-адрес, по которому отображается mse.py (конечная косая черта, возможно, необязательна).
• Если хотите, настройте Prometheus для мониторинга clip_server.py .

МемМолотилка

Здесь вы найдете информацию о MemeThresher, новой автоматической системе получения/рейтинга мемов (в разделе meme-rater ). Ожидается, что развертывание его самостоятельно будет несколько сложным, но это примерно выполнимо:

1. Отредактируйте crawler.py , указав свой собственный источник, и запустите его, чтобы собрать исходный набор данных.
2. Запустите mse.py с файлом конфигурации, подобным предоставленному, чтобы проиндексировать его.
3. rater_server.py для сбора исходного набора данных пар.
4. Скопируйте на сервер с графическим процессором и используйте train.py для обучения модели. Возможно, вам придется настроить гиперпараметры, поскольку я понятия не имею, какие из них хороши.
5. Используйте active_learning.py на лучшей доступной контрольной точке, чтобы получить новые пары для оценки.
6. Используйте copy_into_queue.py , чтобы скопировать новые пары в rater_server.py .
7. Оцените получившиеся пары.
8. Повторяйте шаги с 4 по 7, пока не почувствуете себя достаточно хорошо в своей модели.
9. Разверните library_processing_server.py и запланируйте периодический запуск meme_pipeline.py .

Масштабирование

Поисковая система мемов использует индекс FAISS в памяти для хранения векторов внедрения, потому что я был ленив, и она работает нормально (общая оперативная память ~ 100 МБ используется для моих 8000 мемов). Если вы хотите хранить значительно больше данных, вам придется переключиться на более эффективный/компактный индекс (см. здесь). Поскольку векторные индексы хранятся исключительно в памяти, вам нужно будет либо сохранить их на диске, либо использовать те, которые можно быстро создавать/удалять/добавлять (предположительно индексы PCA/PQ). В какой-то момент, если вы увеличите общий трафик, модель CLIP также может стать узким местом, поскольку у меня также нет стратегии пакетной обработки. Индексирование в настоящее время привязано к графическому процессору, поскольку новая модель работает несколько медленнее при больших размерах пакетов, и я улучшил конвейер загрузки изображений. Вы также можете уменьшить масштаб отображаемых мемов, чтобы сократить потребность в пропускной способности.