rubrix

Mecanismo de pesquisa visual com tecnologia de IA

A principal motivação por trás da construção rubrix foi ter um mecanismo de busca visual totalmente alimentado por Inteligência Artificial, vinculando conceitos nas áreas de Processamento de Linguagem Natural e Visão Computacional, algo que gostamos de chamar de “busca de similaridade combinada”. Atualmente rubrix possui duas funcionalidades principais:

• pegue uma entrada do usuário descrevendo uma imagem e recupere cinco imagens que se encaixem nessa descrição (pesquisa de imagens)
• pegue uma imagem enviada pelo usuário e recupere cinco imagens semelhantes (pesquisa reversa de imagens)

Clique aqui para saber mais detalhes sobre a arquitetura e como funciona rubrix !

rubrix em ação

Você pode conferir algumas das imagens recuperadas pela rubrix para exemplos de consultas aqui.

Começando

Esta seção descreve os pré-requisitos e contém instruções para colocar o projeto em funcionamento.

Configurar

1. Ambiente do Projeto

Atualmente, rubrix funciona perfeitamente no Linux e pode ser facilmente configurado com todos os pacotes de pré-requisitos seguindo estas instruções:

1. Baixe a versão apropriada do conda para sua máquina.

2. Instale-o executando o arquivo conda_install.sh , com o comando:

   $ bash conda_install.sh

3. Adicione conda ao perfil bash:

   $ source ~ /.bashrc

4. Navegue até rubrix/ (diretório de nível superior) e crie um ambiente virtual conda com o arquivo environment.yml incluído usando o seguinte comando:

   $ conda env create -f environment.yml

5. Ative o ambiente virtual com o seguinte comando:

   $ conda activate rubrix

6. Para instalar o pacote com extras do setuptools, use o seguinte comando em rubrix/ (diretório de nível superior) que contém o arquivo setup.py :

   $ pip install . 

2A. Ativos de dados - configuração do zero

Depois que os pré-requisitos forem instalados, siga estas instruções para construir o projeto:

1. Navegue até o diretório rubrix/index .

2. Execute o script bash setup.sh com o seguinte comando:

   $ bash setup.sh

O que isso faz?

1. Baixa o conjunto de dados de imagens/legendas do flickr8k.
2. Constrói e configura darknet/ dentro de rubrix/index para permitir a detecção de objetos com YOLOv4.
3. Cria o arquivo assets/index.json , que essencialmente é um índice de imagem inversa que mapeia todos os objetos nos quais o YOLOv4 foi treinado, para as imagens que os contêm.
4. Cria o arquivo assets/imageEmbeddingLocations.json , que essencialmente mapeia todas as imagens no banco de dados para os vetores de incorporação de frases gerados para cada uma das legendas no banco de dados.
5. Gera vetores de recursos que descrevem todas as imagens no banco de dados e salva-os no diretório assets/descriptors .

NOTA: O script acima pode levar de 1,5 a 2 horas para ser concluído.

2B. Ativos de dados - Configuração rápida

1. Baixe ativos de dados deste link.
2. Descompacte e salve o conteúdo em rubrix/assets .
3. Tudo o que resta é alterar os caminhos em rubrix/assets/index.json e rubrix/assets/imageEmbeddingLocations.json em relação à máquina local. Isso pode ser feito da seguinte maneira:
   • Certifique-se de que o ambiente virtual correspondente esteja ativo ou ative com o seguinte comando:

     $ conda activate rubrix

   • Inicie o Python Interpretor no terminal e execute o seguinte trecho de código:

      >> > from rubrix . utils import fix_paths_in_index
     >> > path_to_index = < absolute / path / to / rubrix / assets / index . json >
     >> > path_to_emb = < absolute / path / to / rubrix / assets / imageEmbeddingLocations . json >
     >> > fix_paths_in_index ( path_to_index , path_to_emb )

4. Navegue até o diretório rubrix/rubrix/index e execute o seguinte script bash:

   $ bash quick_setup.sh

Uso

1. Como pacote

Com a conclusão dessas etapas, você poderá usar rubrix .

• Para pesquisa de imagens, execute o método rubrix/query/query_by_text .
• Para pesquisa reversa de imagens, execute o método rubrix/query/query_by_image_objects .

Você também pode seguir um exemplo prático para isso aqui.

2. Aplicativo da Web local

Uma alternativa é usar rubrix como um aplicativo no navegador da web.

• Navegue até o diretório rubrix/rubrix/web .
• Digite o seguinte comando no terminal para iniciar o aplicativo web:

  $ python app.py

3. Aplicativo Web Dockerizado

Isto é para se você deseja implantar rubrix em um servidor, por exemplo, um servidor Ubuntu Linux na AWS

1. Navegue até o diretório superior
2. Digite o seguinte comando para construir a imagem do Docker:

 $ sudo docker build -t < YOUR-NAME > /rubrix .

3. Você pode então executar:

 $ sudo docker run -p 9000:80 < YOUR-NAME > /rubrix

A configuração ideal para isso seria ter uma configuração de proxy reverso Apache/Nginx no sistema host, apontando para a porta 9000 neste caso, e o Apache/Nginx do sistema host lidaria com SSL. Isso seria para que você pudesse implantar o aplicativo repetidamente sem se preocupar em refazer os certificados SSL.

O Dockerfile não usa o arquivo environment.yml porque usar conda em qualquer tipo de ambiente de produção é um pesadelo. As alterações feitas lá não serão refletidas no contêiner Dockerizado.

Diretrizes de contribuição

Não existem diretrizes específicas para contribuir, exceto algumas diretrizes gerais que tentamos seguir, como:

• O código deve seguir os padrões PEP8 o mais fielmente possível
• Usamos docstrings estilo Google para documentar os módulos Python neste projeto.

Se você encontrar algo que possa ser melhorado, envie uma solicitação pull! Estamos sempre felizes em buscar melhorias, para garantir que rubrix , como projeto, seja a melhor versão de si mesmo.

Se você acha que algo deveria ser feito de maneira diferente (ou está simplesmente quebrado), crie um problema.

Licença

Consulte o arquivo LICENSE para obter mais detalhes.