vector search api

Recherche hybride utilisant la recherche en texte intégral et la recherche vectorielle

• Il s'agit d'une fonction de recherche qui a utilisé le modèle Llama LLM pour générer des intégrations (1024)
• Les intégrations sont stockées dans posgres en utilisant la bibliothèque pgvector
• Point de terminaison REST écrit en ExpressJS

Instructions de configuration

Suivez ces étapes pour configurer et exécuter le projet :

1. Installer PostgreSQL

   • Téléchargez et installez Postgres.app avec PostgreSQL 16 à partir de l'application Postgres.
   • Ouvrez Postgres.app, initialisez PostgreSQL et accédez aux paramètres du serveur.
   • Sélectionnez l'utilisateur avec le nom de votre système et changez le mot de passe en admin .
   • Démarrez le serveur PostgreSQL.

2. Configurer le projet

   • Accédez au dossier config dans le répertoire du projet.
   • Ouvrez db.js et mettez à jour la ligne 3 :
     • Remplacez le nom d'utilisateur et le nom de la base de données de mayanksharma par le nom d'utilisateur de votre système.

3. Configurer la base de données

   • Dans l'application Postgres, double-cliquez sur la base de données avec votre nom d'utilisateur pour ouvrir un terminal.
   • Exécutez la commande suivante dans le terminal :

     CREATE EXTENSION vector;

4. Installer Ollama

   • Téléchargez et installez Ollama depuis Ollama Download.
   • Après l'installation, n'exécutez aucun modèle comme vous y êtes invité.
   • Ouvrez un terminal ou une invite de commande et exécutez :

     ollama pull snowflake-arctic-embed

   • Encore une fois, n’exécutez aucun modèle comme vous y êtes invité après l’installation.

5. Installer les dépendances du projet

   • Dans le terminal du projet, exécutez les commandes suivantes pour installer les dépendances et démarrer le serveur :

     npm install
     node server.js

6. Installer l'extension client REST

   • Téléchargez et installez l'extension "REST Client" (icône bleue) pour votre éditeur de code.

7. Testez l'API

   • Dans le répertoire racine du projet, ouvrez le fichier api.http pour tester les points de terminaison de l'API.

Ressources supplémentaires

• Application Postgres
• Téléchargement

---

Documentation API et exemples d'utilisation

• POST : /api/v1/magazine/hybridsearch/[ page_number ] Renvoie les résultats de la recherche hybride
  • 1. Type de contenu du point de terminaison de recherche : application/json

       {
          "query" : " your_search_query "
       }

Uniquement pour l'ajout de données, ne fait pas partie de la soumission des tâches

• POST : /api/v1/magazine Ajouter un point de terminaison du magazine
  • 1. Type de contenu du point de terminaison de recherche : application/json

       {
          "title" : " magazine_title " ,
          "author" : " author_name " ,
          "category" : " magazine_category " ,
          "content" : " magazine_content "
        }

---

Rapport sur les performances

Considérations sur les performances

J'ai utilisé PostgreSQL avec pgvector (stockage des vecteurs d'intégration) et tsvector (stockage du texte de contenu).

Condition : recherche parmi 1 million d'enregistrements

• Ajout d'index Hierarchical Navigable Small Worlds (HNSW) pour la recherche vectorielle sur les intégrations de contenu. Raison : La recherche nécessite un rappel élevé, ce qui rend hnsw meilleur que ivfflat.

  • vecteur_ip_ops
  • vecteur_cosine_ops
  • vecteur_l1_ops

• Ajout d'index pour le titre, l'auteur et le contenu

  • L'indexation GIN est utilisée pour le contenu du type de données TSVECTOR

• Pagination ajoutée pour réduire les temps de chargement

  • limite et décalage dans les requêtes

• Profil : Pic

• Utilisateurs virtuels : 20

• Durée de l'essai : 5 minutes

• Accès au point final : POST /api/v1/magazine/hybridsearch/1 ("glasgow", "game", "business", "shubham", "food" et "modern")

• Total des demandes envoyées : 10 915

• Requête par seconde : 35,62

• Temps de réponse moyen : 116 ms

---

Implémentation de la recherche hybride expliquée

Deux services individuels pour la recherche de texte et la recherche de vecteurs sont utilisés

Les intégrations sont générées par le modèle Meta Llama "snowflake-arctic-embed", étant léger.

• ÉTAPE 1 : Les objets courants des résultats de recherche vectorielle et de texte intégral sont affichés en premier,

• ÉTAPE 2 : suivi des objets issus uniquement de la recherche de texte,

• ÉTAPE 3 : reste des objets issus de la recherche vectorielle.

---

Test de pertinence des résultats

• requête : vecteur "glasgow", renvoie "Journal de fête celtique" dont le contenu est "l'Écosse"

• requête : le vecteur "sablés", renvoie "Journal des fêtes celtiques" car "sablés" est lié à "écosse"

• requête : mot-clé/texte intégral "shubham", renvoie "Physics Refresher" dont le nom d'auteur est "Shubham Thorve"

• requête : mot-clé/texte intégral "mayank", renvoie "Digit Gaming" qui a le nom d'auteur "Mayank Khurana"

• requête : mot clé/texte intégral "mois", renvoie "Dalal Street Journal" dont le contenu est "Tout sur les jeux vidéo ce mois-ci"

Le schéma de base de données ORM se trouve dans /model

---