rubrix

Визуальная поисковая система на основе искусственного интеллекта

Основной мотивацией создания rubrix было создание визуальной поисковой системы, полностью работающей на искусственном интеллекте, связывающей концепции в областях обработки естественного языка и компьютерного зрения, то, что мы любим называть «комбинированным поиском по сходству». На данный момент rubrix имеет две основные функции:

• принять введенные пользователем данные, описывающие изображение, и получить пять изображений, соответствующих этому описанию (поиск изображений)
• взять загруженное пользователем изображение и найти пять похожих изображений (обратный поиск изображений)

Нажмите здесь, чтобы узнать более подробную информацию об архитектуре и о том, как работает rubrix !

rubrix в действии

Вы можете просмотреть некоторые изображения, полученные rubrix для примеров запросов, здесь.

Начиная

В этом разделе описаны предварительные условия и содержатся инструкции по запуску проекта.

Настраивать

1. Среда проекта

В настоящее время rubrix безупречно работает в Linux и его можно легко настроить со всеми необходимыми пакетами, следуя этим инструкциям:

1. Загрузите подходящую версию conda для вашего компьютера.

2. Установите его, запустив файл conda_install.sh с помощью команды:

   $ bash conda_install.sh

3. Добавьте conda в профиль bash:

   $ source ~ /.bashrc

4. Перейдите в rubrix/ (каталог верхнего уровня) и создайте виртуальную среду conda с включенным файлом environment.yml используя следующую команду:

   $ conda env create -f environment.yml

5. Активируйте виртуальную среду с помощью следующей команды:

   $ conda activate rubrix

6. Чтобы установить пакет с дополнительными функциями setuptools, используйте следующую команду в rubrix/ (каталог верхнего уровня), содержащем файл setup.py :

   $ pip install . 

2А. Ресурсы данных — настройка с нуля

После установки необходимых компонентов следуйте этим инструкциям для сборки проекта:

1. Перейдите в каталог rubrix/index .

2. Запустите сценарий bash setup.sh с помощью следующей команды:

   $ bash setup.sh

Что это делает?

1. Загружает набор данных изображений/подписей flickr8k.
2. Создает и настраивает darknet/ в rubrix/index для включения обнаружения объектов с помощью YOLOv4.
3. Создает файл assets/index.json , который по сути представляет собой индекс обратного изображения, сопоставляющий все объекты, на которых был обучен YOLOv4, с изображениями, содержащими их.
4. Создает файл assets/imageEmbeddingLocations.json , который по существу сопоставляет все изображения в базе данных с векторами внедрения предложений, созданными для каждого из подписей в базе данных.
5. Генерирует векторы признаков, описывающие все изображения в базе данных, и сохраняет их в каталоге assets/descriptors .

ПРИМЕЧАНИЕ. Выполнение приведенного выше сценария может занять от 1,5 до 2 часов.

2Б. Ресурсы данных – быстрая настройка

1. Загрузите ресурсы данных по этой ссылке.
2. Разархивируйте и сохраните содержимое в rubrix/assets .
3. Осталось изменить пути в rubrix/assets/index.json и rubrix/assets/imageEmbeddingLocations.json относительно локальной машины. Это можно сделать следующим образом:
   • Убедитесь, что соответствующая виртуальная среда активна, или активируйте ее с помощью следующей команды:

     $ conda activate rubrix

   • Запустите Python Interpretor в терминале и выполните следующий фрагмент кода:

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. Перейдите в каталог rubrix/rubrix/index и запустите следующий bash-скрипт:

   $ bash quick_setup.sh

Использование

1. В упаковке

После выполнения этих шагов вы сможете использовать rubrix .

• Для поиска изображений выполните метод rubrix/query/query_by_text .
• Для обратного поиска изображений выполните метод rubrix/query/query_by_image_objects .

Вы также можете последовать рабочему примеру здесь.

2. Локальное веб-приложение

Альтернативой является использование rubrix в качестве приложения в веб-браузере.

• Перейдите в каталог rubrix/rubrix/web .
• Введите следующую команду в терминале, чтобы запустить веб-приложение:

  $ python app.py

3. Докеризованное веб-приложение

Это для случаев, когда вы хотите развернуть rubrix на сервере, например, сервере Ubuntu Linux на AWS.

1. Перейдите в верхний каталог
2. Введите следующую команду для создания образа Docker:

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. Затем вы можете запустить:

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

Идеальной настройкой для этого было бы наличие обратного прокси-сервера Apache/Nginx в хост-системе, указывающего в данном случае на порт 9000 , и Apache/Nginx хост-системы будет обрабатывать SSL. Это сделано для того, чтобы вы могли развертывать приложение снова и снова, не беспокоясь о переделке SSL-сертификатов.

Dockerfile не использует файл environment.yml , потому что использование conda в любой производственной среде — это кошмар. Внесенные там изменения не будут отражены в Dockerized-контейнере.

Рекомендации по участию

Никаких конкретных правил по внесению вкладов не существует, за исключением нескольких общих правил, которым мы старались следовать, таких как:

• Код должен максимально точно соответствовать стандартам PEP8.
• Мы используем строки документации в стиле Google для документирования модулей Python в этом проекте.

Если вы видите что-то, что можно улучшить, отправьте запрос на включение! Мы всегда рады видеть улучшения, чтобы гарантировать, что rubrix , как проект, является лучшей версией самого себя.

Если вы считаете, что что-то следует сделать по-другому (или что-то просто сломано), создайте проблему.

Лицензия

Дополнительные сведения см. в файле ЛИЦЕНЗИИ.