rubrix

人工智能驱动的视觉搜索引擎

构建rubrix的主要动机是拥有一个完全由人工智能驱动的视觉搜索引擎，将自然语言处理和计算机视觉领域的概念联系起来，我们称之为“组合相似性搜索”。目前rubrix有两个主要功能：

• 接受描述图像的用户输入并检索符合该描述的五张图像（图像搜索）
• 接收用户上传的图像并检索五个相似的图像（反向图像搜索）

请点击此处了解有关架构和rubrix工作原理的更多详细信息！

rubrix在行动

您可以在此处查看rubrix检索到的一些图像以获取示例查询。

入门

本节介绍启动和运行项目的先决条件并包含说明。

设置

一、项目环境

目前， rubrix在 Linux 上完美运行，并且可以按照以下说明使用所有必备软件包轻松设置：

1. 下载适合您的计算机的 conda 版本。

2. 通过使用以下命令运行conda_install.sh文件来安装它：

   $ bash conda_install.sh

3. 将conda添加到 bash 配置文件：

   $ source ~ /.bashrc

4. 导航到rubrix/ （顶级目录）并使用以下命令使用包含的environment.yml文件创建 conda 虚拟环境：

   $ conda env create -f environment.yml

5. 使用以下命令激活虚拟环境：

   $ conda activate rubrix

6. 要使用 setuptools extras 安装软件包，请在包含setup.py文件的rubrix/ （顶级目录）中使用以下命令：

   $ pip install . 

2A。数据资产 - 从头开始​​设置

安装先决条件后，请按照以下说明构建项目：

1. 导航到rubrix/index目录。

2. 使用以下命令运行 bash 脚本setup.sh ：

   $ bash setup.sh

这是做什么的？

1. 下载 flickr8k 图像/字幕数据集。
2. 在rubrix/index中构建并设置darknet/以使用 YOLOv4 进行对象检测。
3. 创建assets/index.json文件，该文件本质上是将 YOLOv4 训练的所有对象映射到包含它们的图像的逆图像索引。
4. 创建assets/imageEmbeddingLocations.json文件，该文件本质上将数据库中的所有图像映射到为数据库中的每个标题生成的句子嵌入向量。
5. 生成描述数据库中所有图像的特征向量并将其保存到assets/descriptors目录。

注意：上述脚本可能需要 1.5 - 2 小时才能完成执行。

2B。数据资产 - 快速设置

1. 从此链接下载数据资产。
2. 解压并将内容保存在rubrix/assets中。
3. 剩下的就是更改rubrix/assets/index.json和rubrix/assets/imageEmbeddingLocations.json中相对于本地计算机的路径。这可以按如下方式完成：
   • 确保相应的虚拟环境处于活动状态，或使用以下命令激活：

     $ conda activate rubrix

   • 在终端中启动 Python 解释器并运行以下代码片段：

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. 导航到rubrix/rubrix/index目录并运行以下 bash 脚本：

   $ bash quick_setup.sh

用法

1. 作为一个包

完成这些步骤后，您应该能够使用rubrix 。

• 对于图像搜索，执行rubrix/query/query_by_text方法。
• 对于反向图像搜索，执行rubrix/query/query_by_image_objects方法。

您还可以在此处遵循一个工作示例。

2. 本地Web应用程序

另一种方法是使用rubrix作为网络浏览器上的应用程序。

• 导航到rubrix/rubrix/web目录。
• 在终端中输入以下命令来启动 Web 应用程序：

  $ python app.py

3. Docker 化的 Web 应用程序

这适用于您想在服务器上部署rubrix ，例如 AWS 上的 Ubuntu Linux 服务器

1. 导航到顶层目录
2. 输入以下命令来构建 docker 镜像：

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. 然后您可以运行：

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

理想的设置是在主机系统上设置 Apache/Nginx 反向代理，在本例中指向端口9000 ，并且主机系统的 Apache/Nginx 将处理 SSL。这样您就可以一遍又一遍地部署应用程序，而不必担心重新制作 SSL 证书。

Dockerfile 不使用environment.yml文件，因为在任何类型的生产环境上使用 conda 都是一场噩梦。在那里所做的更改不会反映在 Dockerized 容器中。

贡献指南

除了我们试图遵循的一些一般准则之外，没有具体的贡献准则，例如：

• 代码应尽可能遵循 PEP8 标准
• 我们使用 Google 风格的文档字符串来记录该项目中的 Python 模块。

如果您发现可以改进的地方，请发送拉取请求！我们总是乐于看到改进，以确保rubrix作为一个项目是其本身的最佳版本。

如果您认为某些事情应该采取不同的方式（或者只是简单地破坏），请创建一个问题。

执照

有关更多详细信息，请参阅许可证文件。