rubrix

KI-gestützte visuelle Suchmaschine

Die Hauptmotivation bei der Entwicklung von rubrix bestand darin, eine visuelle Suchmaschine zu haben, die vollständig auf künstlicher Intelligenz basiert und Konzepte aus den Bereichen Verarbeitung natürlicher Sprache und Computer Vision verknüpft, was wir gerne „kombinierte Ähnlichkeitssuche“ nennen. Derzeit verfügt rubrix über zwei Hauptfunktionen:

• Nehmen Sie eine Benutzereingabe auf, die ein Bild beschreibt, und rufen Sie fünf Bilder ab, die zu dieser Beschreibung passen (Bildsuche).
• Nehmen Sie ein vom Benutzer hochgeladenes Bild auf und rufen Sie fünf ähnliche Bilder ab (umgekehrte Bildsuche).

Bitte klicken Sie hier, um mehr Details über die Architektur und die Funktionsweise rubrix zu erfahren!

rubrix in Aktion

Hier können Sie sich einige der von rubrix abgerufenen Bilder für Beispielabfragen ansehen.

Erste Schritte

Dieser Abschnitt beschreibt die Voraussetzungen und enthält Anweisungen, um das Projekt zum Laufen zu bringen.

Aufstellen

1. Projektumgebung

Derzeit funktioniert rubrix einwandfrei unter Linux und kann mit allen erforderlichen Paketen einfach eingerichtet werden, indem Sie diese Anweisungen befolgen:

1. Laden Sie die entsprechende Version von Conda für Ihren Computer herunter.

2. Installieren Sie es, indem Sie die Datei conda_install.sh mit dem folgenden Befehl ausführen:

   $ bash conda_install.sh

3. conda zum Bash-Profil hinzufügen:

   $ source ~ /.bashrc

4. Navigieren Sie zu rubrix/ (Verzeichnis der obersten Ebene) und erstellen Sie eine virtuelle Conda-Umgebung mit der enthaltenen Datei environment.yml mit dem folgenden Befehl:

   $ conda env create -f environment.yml

5. Aktivieren Sie die virtuelle Umgebung mit dem folgenden Befehl:

   $ conda activate rubrix

6. Um das Paket mit den Setuptools-Extras zu installieren, verwenden Sie den folgenden Befehl in rubrix/ (Verzeichnis der obersten Ebene), das die Datei setup.py enthält:

   $ pip install . 

2A. Datenbestände – Einrichtung von Grund auf

Nachdem die Voraussetzungen installiert wurden, befolgen Sie diese Anweisungen, um das Projekt zu erstellen:

1. Navigieren Sie zum Verzeichnis rubrix/index .

2. Führen Sie das Bash-Skript setup.sh mit dem folgenden Befehl aus:

   $ bash setup.sh

Was bewirkt das?

1. Lädt den Flickr8k-Bild-/Untertiteldatensatz herunter.
2. Erstellt und richtet darknet/ innerhalb rubrix/index ein, um die Objekterkennung mit YOLOv4 zu ermöglichen.
3. Erstellt die Datei assets/index.json , bei der es sich im Wesentlichen um einen inversen Bildindex handelt, der alle Objekte, auf denen YOLOv4 trainiert wurde, den Bildern zuordnet, die sie enthalten.
4. Erstellt die Datei assets/imageEmbeddingLocations.json , die im Wesentlichen alle Bilder in der Datenbank den Satzeinbettungsvektoren zuordnet, die für jede der Untertitel in der Datenbank generiert werden.
5. Erzeugt Merkmalsvektoren, die alle Bilder in der Datenbank beschreiben, und speichert sie im Verzeichnis assets/descriptors .

HINWEIS: Die Ausführung des obigen Skripts kann zwischen 1,5 und 2 Stunden dauern.

2B. Datenbestände – Schnelleinrichtung

1. Laden Sie Datenbestände über diesen Link herunter.
2. Entpacken Sie den Inhalt und speichern Sie ihn in rubrix/assets .
3. Jetzt müssen nur noch die Pfade in rubrix/assets/index.json und rubrix/assets/imageEmbeddingLocations.json relativ zum lokalen Computer geändert werden. Dies kann wie folgt erfolgen:
   • Stellen Sie sicher, dass die entsprechende virtuelle Umgebung aktiv ist, oder aktivieren Sie sie mit dem folgenden Befehl:

     $ conda activate rubrix

   • Starten Sie Python Interpretor im Terminal und führen Sie den folgenden Codeausschnitt aus:

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. Navigieren Sie zum Verzeichnis rubrix/rubrix/index und führen Sie das folgende Bash-Skript aus:

   $ bash quick_setup.sh

Verwendung

1. Als Paket

Nach Abschluss dieser Schritte sollten Sie rubrix verwenden können.

• Führen Sie für die Bildsuche die Methode rubrix/query/query_by_text aus.
• Führen Sie für die umgekehrte Bildsuche die Methode rubrix/query/query_by_image_objects aus.

Ein funktionierendes Beispiel hierfür können Sie auch hier nachvollziehen.

2. Lokale Webanwendung

Eine Alternative besteht darin, rubrix als Anwendung im Webbrowser zu verwenden.

• Navigieren Sie zum Verzeichnis rubrix/rubrix/web .
• Geben Sie im Terminal den folgenden Befehl ein, um die Webanwendung zu starten:

  $ python app.py

3. Dockerisierte Webanwendung

Dies ist für den Fall gedacht, dass Sie rubrix auf einem Server bereitstellen möchten, z. B. einem Ubuntu-Linux-Server auf AWS

1. Navigieren Sie zum obersten Verzeichnis
2. Geben Sie den folgenden Befehl ein, um das Docker-Image zu erstellen:

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. Sie können dann Folgendes ausführen:

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

Das ideale Setup hierfür wäre ein Apache/Nginx-Reverse-Proxy-Setup auf dem Hostsystem, das in diesem Fall auf Port 9000 verweist, und Apache/Nginx des Hostsystems würde SSL verarbeiten. Auf diese Weise können Sie die Anwendung immer wieder bereitstellen, ohne sich Gedanken über die Neuerstellung von SSL-Zertifikaten machen zu müssen.

Die Docker-Datei verwendet nicht die Datei environment.yml , da die Verwendung von Conda in jeder Art von Produktionsumgebung ein Albtraum ist. Dort vorgenommene Änderungen werden nicht im Docker-Container widergespiegelt.

Mitwirkende Richtlinien

Es gibt keine spezifischen Richtlinien für Beiträge, abgesehen von einigen allgemeinen Richtlinien, die wir zu befolgen versucht haben, wie zum Beispiel:

• Der Code sollte so genau wie möglich den PEP8-Standards entsprechen
• Wir verwenden Docstrings im Google-Stil, um die Python-Module in diesem Projekt zu dokumentieren.

Wenn Sie etwas sehen, das verbessert werden könnte, senden Sie eine Pull-Anfrage! Wir freuen uns immer über Verbesserungen, um sicherzustellen, dass rubrix als Projekt die beste Version seiner selbst ist.

Wenn Sie der Meinung sind, dass etwas anders gemacht werden sollte (oder einfach nur kaputt ist), erstellen Sie bitte ein Problem.

Lizenz

Weitere Einzelheiten finden Sie in der LICENSE-Datei.