rubrix

Motor de búsqueda visual impulsado por IA

La principal motivación detrás de la construcción rubrix fue tener un motor de búsqueda visual completamente impulsado por Inteligencia Artificial, uniendo conceptos dentro de los campos del Procesamiento del Lenguaje Natural y la Visión por Computadora, algo que nos gusta llamar "búsqueda combinada por similitudes". Actualmente rubrix tiene dos funcionalidades principales:

• tomar una entrada del usuario que describa una imagen y recuperar cinco imágenes que se ajusten a esa descripción (búsqueda de imágenes)
• tome una imagen cargada por un usuario y recupere cinco imágenes similares (búsqueda de imágenes inversas)

¡Haga clic aquí para conocer más detalles sobre la arquitectura y cómo funciona rubrix !

rubrix en acción

Puede consultar algunas de las imágenes recuperadas por rubrix para consultas de muestra aquí.

Empezando

Esta sección describe los requisitos previos y contiene instrucciones para poner el proyecto en funcionamiento.

Configuración

1. Entorno del proyecto

Actualmente, rubrix funciona perfectamente en Linux y se puede configurar fácilmente con todos los paquetes necesarios siguiendo estas instrucciones:

1. Descargue la versión adecuada de conda para su máquina.

2. Instálelo ejecutando el archivo conda_install.sh , con el comando:

   $ bash conda_install.sh

3. Agregue conda al perfil de bash:

   $ source ~ /.bashrc

4. Navegue hasta rubrix/ (directorio de nivel superior) y cree un entorno virtual conda con el archivo environment.yml incluido usando el siguiente comando:

   $ conda env create -f environment.yml

5. Active el entorno virtual con el siguiente comando:

   $ conda activate rubrix

6. Para instalar el paquete con extras de setuptools, use el siguiente comando en rubrix/ (directorio de nivel superior) que contiene el archivo setup.py :

   $ pip install . 

2A. Activos de datos: configuración desde cero

Una vez que se hayan instalado los requisitos previos, siga estas instrucciones para construir el proyecto:

1. Navegue al directorio rubrix/index .

2. Ejecute el script bash setup.sh con el siguiente comando:

   $ bash setup.sh

¿Qué hace esto?

1. Descarga el conjunto de datos de imágenes/títulos de flickr8k.
2. Construye y configura darknet/ dentro de rubrix/index para permitir la detección de objetos con YOLOv4.
3. Crea el archivo assets/index.json , que esencialmente es un índice de imagen inversa que asigna todos los objetos en los que se entrenó YOLOv4 a las imágenes que los contienen.
4. Crea el archivo assets/imageEmbeddingLocations.json , que esencialmente asigna todas las imágenes de la base de datos a los vectores de incrustación de oraciones generados para cada uno de los títulos de la base de datos.
5. Genera vectores de características que describen todas las imágenes en la base de datos y los guarda en el directorio de assets/descriptors .

NOTA: El script anterior puede tardar entre 1,5 y 2 horas en completarse.

2B. Activos de datos: configuración rápida

1. Descargue activos de datos desde este enlace.
2. Descomprima y guarde el contenido en rubrix/assets .
3. Todo lo que queda es cambiar las rutas en rubrix/assets/index.json y rubrix/assets/imageEmbeddingLocations.json en relación con la máquina local. Esto se puede hacer de la siguiente manera:
   • Asegúrese de que el entorno virtual correspondiente esté activo o actívelo con el siguiente comando:

     $ conda activate rubrix

   • Inicie Python Interpretor en la terminal y ejecute el siguiente fragmento de código:

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. Navegue al directorio rubrix/rubrix/index y ejecute el siguiente script bash:

   $ bash quick_setup.sh

Uso

1. Como paquete

Una vez completados estos pasos, debería poder utilizar rubrix .

• Para la búsqueda de imágenes, ejecute el método rubrix/query/query_by_text .
• Para la búsqueda inversa de imágenes, ejecute el método rubrix/query/query_by_image_objects .

También puede seguir un ejemplo práctico para esto aquí.

2. Aplicación web local

Una alternativa es utilizar rubrix como aplicación en un navegador web.

• Navegue al directorio rubrix/rubrix/web .
• Ingrese el siguiente comando en la terminal para iniciar la aplicación web:

  $ python app.py

3. Aplicación web acoplada

Esto es útil si desea implementar rubrix en un servidor, por ejemplo, un servidor Ubuntu Linux en AWS.

1. Navegar al directorio superior
2. Ingrese el siguiente comando para crear la imagen de la ventana acoplable:

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. Luego puedes ejecutar:

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

La configuración ideal para esto sería tener una configuración de proxy inverso Apache/Nginx en el sistema host, apuntando al puerto 9000 en este caso, y Apache/Nginx del sistema host manejaría SSL. Esto le permitirá implementar la aplicación una y otra vez sin preocuparse por rehacer los certificados SSL.

Dockerfile no utiliza el archivo environment.yml porque usar Conda en cualquier tipo de entorno de producción es una pesadilla. Los cambios realizados allí no se reflejarán en el contenedor Dockerizado.

Pautas de contribución

No existen pautas específicas para contribuir, aparte de algunas pautas generales que intentamos seguir, como por ejemplo:

• El código debe seguir los estándares PEP8 lo más estrechamente posible.
• Usamos cadenas de documentación estilo Google para documentar los módulos de Python en este proyecto.

Si ve algo que podría mejorarse, ¡envíe una solicitud de extracción! Siempre estamos felices de buscar mejoras para garantizar que rubrix , como proyecto, sea la mejor versión de sí mismo.

Si cree que algo debería hacerse de manera diferente (o simplemente está roto), cree un problema.

Licencia

Consulte el archivo de LICENCIA para obtener más detalles.