meme search engine

Motor de búsqueda de memes

¿Tienes una carpeta grande de memes que deseas buscar semánticamente? ¿Tiene un servidor Linux con una GPU Nvidia? Tú haces; esto ahora es obligatorio.

Características

Dicen que una imagen vale más que mil palabras. Desafortunadamente, muchos (¿la mayoría?) conjuntos de palabras no pueden describirse adecuadamente mediante imágenes. De todos modos, aquí hay una foto. Puede utilizar una instancia en ejecución aquí.

• Interfaz de usuario de mampostería de desplazamiento infinito para una visualización densa de memes.
• Reindexación en línea (una buena razón para usarla en lugar de la recuperación de clips): recarga memes sin un paso de reconstrucción lento y costoso.
• Soporte de consultas complejas: consulta utilizando texto e imágenes, incluidos varios términos a la vez, con ponderación (incluso negativa).
• Razonablemente rápido.

Configuración

Esto no está probado. Podría funcionar. La nueva versión de Rust simplifica algunos pasos (integra su propia miniatura).

• Sirve tu biblioteca de memes desde un servidor web estático.
  • Yo uso nginx. Si tiene prisa, puede usar python -m http.server .
• Instale las dependencias de Python con pip desde requirements.txt (las versiones probablemente no deberían coincidir exactamente si necesita cambiarlas; solo puse lo que tengo instalado actualmente).
  • Ahora necesita una versión parcheada de transformers debido a la compatibilidad con SigLIP. OpenCLIP es compatible con SigLIP. Ahora estoy usando eso.
  • He convertido exactamente un modelo SigLIP: https://huggingface.co/gollark/siglip-so400m-14-384. Aparentemente es el mejor. Si no te gusta, descubre cómo convertir más. Necesitas descargar ese repositorio. Puede utilizar cualquier modelo de OpenCLIP que admita OpenCLIP.
• Ejecute thumbnailer.py (periódicamente, al mismo tiempo que se recarga el índice, idealmente)
• Ejecute clip_server.py (como servicio en segundo plano).
  • Está configurado con un archivo JSON que se le asigna como primer argumento. Un ejemplo está en clip_server_config.json .
    • device probablemente debería ser cuda o cpu . El modelo seguirá funcionando aquí.
    • model es el modelo OpenCLIP a utilizar la ruta al repositorio de modelos SigLIP.
    • model_name es el nombre del modelo a efectos de métricas.
    • max_batch_size controla el tamaño de lote máximo permitido. Los valores más altos generalmente dan como resultado un rendimiento algo mejor (aunque el cuello de botella en la mayoría de los casos está en otra parte en este momento) a costa de un mayor uso de VRAM.
    • port es el puerto para ejecutar el servidor HTTP.
• Cree y ejecute meme-search-engine (Rust) (también como servicio en segundo plano).
  • Esto debe exponerse en algún lugar donde la interfaz pueda alcanzarlo. Configure su proxy inverso adecuadamente.
  • También tiene un archivo de configuración JSON.
    • clip_server es la URL completa del servidor backend.
    • db_path es la ruta a la base de datos SQLite de imágenes y vectores de incrustación.
    • files es desde donde se leerán los archivos meme. Los subdirectorios están indexados.
    • port es el puerto en el que se sirve HTTP.
    • Si está implementando en el público, establezca enable_thumbs en true para mostrar imágenes comprimidas.
• Cree clipfront2 y hospede en su servidor web estático favorito.
  • npm install , node src/build.js .
  • Deberá reconstruirlo cada vez que edite frontend_config.json .
    • image_path es la URL base de su servidor web de memes (con una barra diagonal).
    • backend_url es la URL en la que se expone mse.py (la barra diagonal probablemente sea opcional).
• Si lo desea, configure Prometheus para monitorear clip_server.py .

MemeTrilladora

Consulte aquí para obtener información sobre MemeThresher, el nuevo sistema automático de adquisición/clasificación de memes (en meme-rater ). Se prevé que implementarlo usted mismo será algo complicado, pero debería ser aproximadamente factible:

1. Edite crawler.py con su propia fuente y ejecútelo para recopilar un conjunto de datos inicial.
2. Ejecute mse.py con un archivo de configuración como el proporcionado para indexarlo.
3. Utilice rater_server.py para recopilar un conjunto de datos inicial de pares.
4. Copie a un servidor con una GPU y use train.py para entrenar un modelo. Es posible que deba ajustar los hiperparámetros ya que no tengo idea de cuáles son buenos.
5. Utilice active_learning.py en el mejor punto de control disponible para obtener nuevos pares para calificar.
6. Utilice copy_into_queue.py para copiar los nuevos pares en la cola rater_server.py .
7. Califica los pares resultantes.
8. Repita del 4 al 7 hasta que se sienta lo suficientemente bien con su modelo.
9. Implemente library_processing_server.py y programe meme_pipeline.py para que se ejecute periódicamente.

Escalada

Meme Search Engine usa un índice FAISS en memoria para contener sus vectores de incrustación, porque era vago y funciona bien (~100 MB de RAM total usado para mis 8000 memes). Si desea almacenar mucho más que eso, tendrá que cambiar a un índice más eficiente/compacto (ver aquí). Como los índices vectoriales se guardan exclusivamente en la memoria, deberá conservarlos en el disco o utilizar aquellos que sean rápidos de crear, eliminar o agregar (presumiblemente índices PCA/PQ). En algún momento, si aumenta el tráfico total, el modelo CLIP también puede convertirse en un cuello de botella, ya que tampoco tengo una estrategia de procesamiento por lotes. Actualmente, la indexación está vinculada a la GPU, ya que el nuevo modelo parece algo más lento en lotes de gran tamaño y mejoré el proceso de carga de imágenes. Es posible que también desee reducir los memes mostrados para reducir las necesidades de ancho de banda.