vector search api

Pesquisa híbrida usando pesquisa de texto completo e vetorial

• Esta é uma função de pesquisa que usou o modelo llama LLM para gerar embeddings (1024)
• Os embeddings são armazenados em posgres aproveitando a biblioteca pgvector
• Endpoint REST escrito em ExpressJS

Instruções de configuração

Siga estas etapas para configurar e executar o projeto:

1. Instale o PostgreSQL

   • Baixe e instale Postgres.app com PostgreSQL 16 do aplicativo Postgres.
   • Abra Postgres.app, inicialize o PostgreSQL e vá para as configurações do servidor.
   • Selecione o usuário com o nome do seu sistema e altere a senha para admin .
   • Inicie o servidor PostgreSQL.

2. Configurar o projeto

   • Navegue até a pasta config no diretório do projeto.
   • Abra db.js e atualize a linha 3:
     • Altere o nome de usuário e o nome do banco de dados de mayanksharma para o nome de usuário do seu sistema.

3. Configurar o banco de dados

   • No aplicativo Postgres, clique duas vezes no banco de dados com seu nome de usuário para abrir um terminal.
   • Execute o seguinte comando no terminal:

     CREATE EXTENSION vector;

4. Instalar Ollama

   • Baixe e instale o Ollama em Download do Ollama.
   • Após a instalação, não execute nenhum modelo conforme solicitado.
   • Abra um terminal ou prompt de comando e execute:

     ollama pull snowflake-arctic-embed

   • Novamente, não execute nenhum modelo conforme solicitado após a instalação.

5. Instalar dependências do projeto

   • No terminal do projeto, execute os seguintes comandos para instalar dependências e iniciar o servidor:

     npm install
     node server.js

6. Instale a extensão do cliente REST

   • Baixe e instale a extensão "REST Client" (ícone azul) para o seu editor de código.

7. Teste a API

   • No diretório raiz do projeto, abra o arquivo api.http para testar os endpoints da API.

Recursos Adicionais

• Aplicativo Postgres
• Baixar Ollama

---

Documentação da API e exemplos de uso

• POST: /api/v1/magazine/hybridsearch/[ page_number ] Retorna os resultados da pesquisa híbrida
  • 1. Tipo de conteúdo do terminal de pesquisa: aplicativo/json

       {
          "query" : " your_search_query "
       }

Apenas para adicionar dados, não faz parte do envio de tarefas

• POST: /api/v1/magazine Adicionar endpoint da revista
  • 1. Tipo de conteúdo do terminal de pesquisa: aplicativo/json

       {
          "title" : " magazine_title " ,
          "author" : " author_name " ,
          "category" : " magazine_category " ,
          "content" : " magazine_content "
        }

---

Relatório de desempenho

Considerações de desempenho

Usei PostgreSQL com pgvector (armazenamento de vetores de incorporação) e tsvector (armazenamento de texto de conteúdo).

Requisito: pesquise em 1 milhão de registros

• Adicionados índices Hierarchical Navigable Small Worlds (HNSW) para pesquisa vetorial em embeddings de conteúdo Motivo: a pesquisa requer alta recuperação, o que torna o hnsw melhor que o ivfflat Referência

  • vetor_ip_ops
  • vetor_cosseno_ops
  • vetor_l1_ops

• Adicionados índices para título, autor e conteúdo

  • A indexação GIN é usada para conteúdo no tipo de dados TSVECTOR

• Paginação adicionada para reduzir o tempo de carregamento

  • limite e deslocamento em consultas

• Perfil: Pico

• Usuários virtuais: 20

• Duração do teste: 5 minutos

• Resultado do endpoint: POST /api/v1/magazine/hybridsearch/1 ("glasgow", "game", "business", "shubham", "food" e "modern")

• Total de solicitações enviadas: 10.915

• Solicitação por segundo: 35,62

• Tempo médio de resposta: 116 ms

---

Implementação de pesquisa híbrida explicada

Dois serviços individuais para pesquisa de texto e pesquisa vetorial são usados

Os embeddings são gerados pelo modelo Meta llama "snowflake-arctic-embed", sendo leves.

• PASSO 1: Os objetos comuns dos resultados da pesquisa vetorial e de texto completo são mostrados primeiro,

• PASSO 2: seguido por objetos apenas da pesquisa de texto,

• PASSO 3: resto dos objetos da pesquisa vetorial.

---

Teste de relevância para resultados

• consulta: vetor "glasgow", retorna "Diário de festa celta" que tem "Escócia escrita no conteúdo"

• consulta: vetor "shortbread", retorna "Celtic Feast Journal", pois "shortbread" está relacionado a "Escócia"

• consulta: palavra-chave/texto completo "shubham", retorna "Physics Refresher" que tem o nome do autor "Shubham Thorve"

• consulta: palavra-chave/texto completo "mayank", retorna "Digit Gaming" que tem o nome do autor "Mayank Khurana"

• consulta: palavra-chave/texto completo "mês", retorna "Dalal Street Journal" que tem conteúdo "Tudo sobre videogames este mês"

O esquema de banco de dados ORM está localizado em /model

---