vector search api

Búsqueda híbrida mediante búsqueda de texto completo y vectorial

• Esta es una función de búsqueda que utilizó el modelo llama LLM para generar incrustaciones (1024)
• Las incrustaciones se almacenan en posgres aprovechando la biblioteca pgvector
• Punto final REST escrito en ExpressJS

Instrucciones de configuración

Siga estos pasos para configurar y ejecutar el proyecto:

1. Instalar PostgreSQL

   • Descargue e instale Postgres.app con PostgreSQL 16 desde la aplicación Postgres.
   • Abra Postgres.app, inicialice PostgreSQL y vaya a la configuración del servidor.
   • Seleccione el usuario con el nombre de su sistema y cambie la contraseña a admin .
   • Inicie el servidor PostgreSQL.

2. Configurar el proyecto

   • Navegue a la carpeta config en el directorio del proyecto.
   • Abra db.js y actualice la línea 3:
     • Cambie el nombre de usuario y el nombre de la base de datos de mayanksharma al nombre de usuario de su sistema.

3. Configurar la base de datos

   • En la aplicación Postgres, haga doble clic en la base de datos con su nombre de usuario para abrir una terminal.
   • Ejecute el siguiente comando en la terminal:

     CREATE EXTENSION vector;

4. Instalar Ollama

   • Descargue e instale Ollama desde Ollama Download.
   • Después de la instalación, no ejecute ningún modelo según se le solicite.
   • Abra una terminal o símbolo del sistema y ejecute:

     ollama pull snowflake-arctic-embed

   • Nuevamente, no ejecute ningún modelo cuando se le solicite después de la instalación.

5. Instalar dependencias del proyecto

   • En la terminal del proyecto, ejecute los siguientes comandos para instalar dependencias e iniciar el servidor:

     npm install
     node server.js

6. Instalar la extensión del cliente REST

   • Descargue e instale la extensión "REST Client" (icono azul) para su editor de código.

7. Pruebe la API

   • En el directorio raíz del proyecto, abra el archivo api.http para probar los puntos finales de la API.

Recursos adicionales

• Aplicación Postgres
• Descargar Ollama

---

Documentación de API y ejemplos de uso

• POST: /api/v1/magazine/hybridsearch/[ número_página ] Devuelve los resultados de la búsqueda híbrida
  • 1. Tipo de contenido del punto final de búsqueda: aplicación/json

       {
          "query" : " your_search_query "
       }

Solo para agregar datos, no como parte del envío de tareas.

• POST: /api/v1/magazine Agregar punto final de revista
  • 1. Tipo de contenido del punto final de búsqueda: aplicación/json

       {
          "title" : " magazine_title " ,
          "author" : " author_name " ,
          "category" : " magazine_category " ,
          "content" : " magazine_content "
        }

---

Informe de desempeño

Consideraciones de rendimiento

He usado PostgreSQL con pgvector (almacenamiento de vectores incrustados) y tsvector (almacenamiento de texto de contenido).

Requisito: buscar entre 1 millón de registros

• Se agregaron índices Hierarchical Navigable Small Worlds (HNSW) para la búsqueda vectorial en incrustaciones de contenido. Razón: la búsqueda requiere una alta recuperación, lo que hace que hnsw sea mejor que la referencia ivfflat.

  • operaciones_ip_vectoriales
  • vector_coseno_ops
  • vector_l1_ops

• Índices agregados para título, autor y contenido.

  • La indexación GIN se utiliza para el contenido en el tipo de datos TSVECTOR

• Paginación agregada para reducir los tiempos de carga.

  • límite y compensación en consultas

• Perfil: Pico

• Usuarios virtuales: 20

• Duración de la prueba: 5 minutos

• Acceso al punto final: POST /api/v1/magazine/hybridsearch/1 ("glasgow", "juego", "negocios", "shubham", "comida" y "moderno")

• Total de solicitudes enviadas: 10.915

• Solicitud por segundo: 35,62

• Tiempo medio de respuesta: 116 ms

---

Implementación de búsqueda híbrida explicada

Se utilizan dos servicios individuales para búsqueda de texto y búsqueda de vectores.

Las incrustaciones se generan mediante el modelo "snowflake-arctic-embed" de Meta llama, que es liviano.

• PASO 1: Primero se muestran los objetos comunes de los resultados de búsqueda vectorial y de texto completo,

• PASO 2: seguido de objetos de solo búsqueda de texto,

• PASO 3: resto de objetos de la búsqueda vectorial.

---

Pruebas de relevancia para obtener resultados.

• consulta: vector "glasgow", devuelve "Diario de fiestas celtas" que tiene "Escocia escrita en el contenido"

• consulta: vector "mantecada", devuelve "Diario de fiestas celtas" ya que "mantecada" está relacionado con "escocia"

• consulta: palabra clave/texto completo "shubham", devuelve "Physics Refresher" que tiene el nombre del autor "Shubham Thorve"

• consulta: palabra clave/texto completo "mayank", devuelve "Digit Gaming" cuyo nombre de autor es "Mayank Khurana"

• consulta: palabra clave/texto completo "mes", devuelve "Dalal Street Journal" que tiene contenido "Todo sobre videojuegos este mes"

El ORM del esquema de base de datos se encuentra en /model

---