rubrix

Moteur de recherche visuel alimenté par l'IA

La principale motivation derrière la création rubrix était de disposer d'un moteur de recherche visuel entièrement alimenté par l'intelligence artificielle, reliant des concepts dans les domaines du traitement du langage naturel et de la vision par ordinateur, ce que nous aimons appeler « recherche de similarité combinée ». Actuellement rubrix a deux fonctionnalités principales :

• prendre en compte une entrée utilisateur décrivant une image et récupérer cinq images qui correspondent à cette description (recherche d'images)
• prenez une image téléchargée par l'utilisateur et récupérez cinq images similaires (recherche d'image inversée)

Veuillez cliquer ici pour en savoir plus sur l'architecture et le fonctionnement rubrix !

rubrix en action

Vous pouvez consulter certaines des images récupérées par rubrix pour des exemples de requêtes ici.

Commencer

Cette section décrit les conditions préalables et contient des instructions pour que le projet soit opérationnel.

Installation

1. Environnement du projet

Actuellement, rubrix fonctionne parfaitement sous Linux et peut être configuré facilement avec tous les packages prérequis en suivant ces instructions :

1. Téléchargez la version appropriée de conda pour votre machine.

2. Installez-le en exécutant le fichier conda_install.sh , avec la commande :

   $ bash conda_install.sh

3. Ajouter conda au profil bash :

   $ source ~ /.bashrc

4. Accédez à rubrix/ (répertoire de niveau supérieur) et créez un environnement virtuel conda avec le fichier environment.yml inclus à l'aide de la commande suivante :

   $ conda env create -f environment.yml

5. Activez l'environnement virtuel avec la commande suivante :

   $ conda activate rubrix

6. Pour installer le package avec les extras setuptools, utilisez la commande suivante dans rubrix/ (répertoire de niveau supérieur) contenant le fichier setup.py :

   $ pip install . 

2A. Actifs de données - Configuration à partir de zéro

Une fois les prérequis installés, suivez ces instructions pour construire le projet :

1. Accédez au répertoire rubrix/index .

2. Exécutez le script bash setup.sh avec la commande suivante :

   $ bash setup.sh

Qu'est-ce que cela fait ?

1. Télécharge l’ensemble de données d’images/légendes flickr8k.
2. Construit et configure darknet/ dans rubrix/index pour permettre la détection d'objets avec YOLOv4.
3. Crée le fichier assets/index.json , qui est essentiellement un index d'image inverse mappant tous les objets sur lesquels YOLOv4 a été formé, aux images les contenant.
4. Crée le fichier assets/imageEmbeddingLocations.json , qui mappe essentiellement toutes les images de la base de données aux vecteurs d'incorporation de phrases générés pour chacune des légendes de la base de données.
5. Génère des vecteurs de caractéristiques décrivant toutes les images de la base de données et les enregistre dans le répertoire assets/descriptors .

REMARQUE : L'exécution du script ci-dessus peut prendre entre 1,5 et 2 heures.

2B. Actifs de données - Configuration rapide

1. Téléchargez les ressources de données à partir de ce lien.
2. Décompressez et enregistrez le contenu dans rubrix/assets .
3. Il ne reste plus qu'à modifier les chemins dans rubrix/assets/index.json et rubrix/assets/imageEmbeddingLocations.json par rapport à la machine locale. Cela peut être fait comme suit :
   • Assurez-vous que l'environnement virtuel correspondant est actif ou activez-le avec la commande suivante :

     $ conda activate rubrix

   • Lancez Python Interpretor dans le terminal et exécutez l'extrait de code suivant :

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. Accédez au répertoire rubrix/rubrix/index et exécutez le script bash suivant :

   $ bash quick_setup.sh

Usage

1. Sous forme de forfait

Une fois ces étapes terminées, vous devriez pouvoir utiliser rubrix .

• Pour la recherche d'images, exécutez la méthode rubrix/query/query_by_text .
• Pour la recherche d'images inversée, exécutez la méthode rubrix/query/query_by_image_objects .

Vous pouvez également suivre un exemple concret pour cela ici.

2. Application Web locale

Une alternative consiste à utiliser rubrix comme application sur un navigateur Web.

• Accédez au répertoire rubrix/rubrix/web .
• Entrez la commande suivante dans le terminal pour lancer l'application Web :

  $ python app.py

3. Application Web Dockerisée

C'est pour si vous souhaitez déployer rubrix sur un serveur, par exemple un serveur Ubuntu Linux sur AWS

1. Accédez au répertoire supérieur
2. Entrez la commande suivante pour créer l'image Docker :

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. Vous pouvez alors exécuter :

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

La configuration idéale pour cela serait d'avoir une configuration de proxy inverse Apache/Nginx sur le système hôte, pointant vers le port 9000 dans ce cas, et Apache/Nginx du système hôte gérerait SSL. Cela vous permettrait de déployer l'application encore et encore sans vous soucier de refaire les certificats SSL.

Le Dockerfile n'utilise pas le fichier environment.yml car utiliser conda sur tout type d'environnement de production est un cauchemar. Les modifications qui y sont apportées ne seront pas reflétées dans le conteneur Dockerisé.

Lignes directrices de contribution

Il n'y a pas de directives spécifiques pour contribuer, à l'exception de quelques directives générales que nous avons essayé de suivre, telles que :

• Le code doit suivre le plus fidèlement possible les normes PEP8
• Nous utilisons des docstrings de style Google pour documenter les modules Python de ce projet.

Si vous voyez quelque chose qui pourrait être amélioré, envoyez une pull request ! Nous sommes toujours heureux d'examiner les améliorations, pour garantir que rubrix , en tant que projet, est la meilleure version de lui-même.

Si vous pensez que quelque chose devrait être fait différemment (ou est tout simplement cassé), veuillez créer un problème.

Licence

Voir le fichier LICENSE pour plus de détails.