vector search api

Hybridsuche mit Volltext- und Vektorsuche

• Dies ist eine Suchfunktion, die das Lama-LLM-Modell zum Generieren von Einbettungen verwendet (1024).
• Einbettungen werden in Posgres gespeichert und nutzen die pgvector-Bibliothek
• In ExpressJS geschriebener REST-Endpunkt

Einrichtungsanweisungen

Befolgen Sie diese Schritte, um das Projekt einzurichten und auszuführen:

1. Installieren Sie PostgreSQL

   • Laden Sie Postgres.app mit PostgreSQL 16 von der Postgres-App herunter und installieren Sie es.
   • Öffnen Sie Postgres.app, initialisieren Sie PostgreSQL und gehen Sie zu den Servereinstellungen.
   • Wählen Sie den Benutzer mit Ihrem Systemnamen aus und ändern Sie das Passwort in admin .
   • Starten Sie den PostgreSQL-Server.

2. Konfigurieren Sie das Projekt

   • Navigieren Sie zum config im Projektverzeichnis.
   • Öffnen Sie db.js und aktualisieren Sie Zeile 3:
     • Ändern Sie den Benutzernamen und den Datenbanknamen von mayanksharma in Ihren Systembenutzernamen.

3. Richten Sie die Datenbank ein

   • Doppelklicken Sie in der Postgres-App auf die Datenbank mit Ihrem Benutzernamen, um ein Terminal zu öffnen.
   • Führen Sie im Terminal den folgenden Befehl aus:

     CREATE EXTENSION vector;

4. Installieren Sie Ollama

   • Laden Sie Ollama von Ollama Download herunter und installieren Sie es.
   • Führen Sie nach der Installation kein Modell aus, wenn Sie dazu aufgefordert werden.
   • Öffnen Sie ein Terminal oder eine Eingabeaufforderung und führen Sie Folgendes aus:

     ollama pull snowflake-arctic-embed

   • Führen Sie auch hier kein Modell aus, wenn Sie nach der Installation dazu aufgefordert werden.

5. Projektabhängigkeiten installieren

   • Führen Sie im Projektterminal die folgenden Befehle aus, um Abhängigkeiten zu installieren und den Server zu starten:

     npm install
     node server.js

6. Installieren Sie die REST-Client-Erweiterung

   • Laden Sie die Erweiterung „REST Client“ (blaues Symbol) für Ihren Code-Editor herunter und installieren Sie sie.

7. Testen Sie die API

   • Öffnen Sie im Stammverzeichnis des Projekts die Datei api.http , um die API-Endpunkte zu testen.

Zusätzliche Ressourcen

• Postgres-App
• Ollama-Download

---

API-Dokumentation und Anwendungsbeispiele

• POST: /api/v1/magazine/hybridsearch/[ Seitennummer ] Gibt die Hybrid-Suchergebnisse zurück
  • 1. Inhaltstyp des Suchendpunkts: application/json

       {
          "query" : " your_search_query "
       }

Nur zum Hinzufügen von Daten, nicht Teil der Aufgabenübermittlung

• POST: /api/v1/magazine Magazin-Endpunkt hinzufügen
  • 1. Inhaltstyp des Suchendpunkts: application/json

       {
          "title" : " magazine_title " ,
          "author" : " author_name " ,
          "category" : " magazine_category " ,
          "content" : " magazine_content "
        }

---

Leistungsbericht

Leistungsüberlegungen

Ich habe PostgreSQL mit pgvector (Speichern von Einbettungsvektoren) und tsvector (Speichern von Inhaltstext) verwendet.

Anforderung: Suche aus 1 Million Datensätzen

• Hierarchical Navigable Small Worlds (HNSW)-Indizes für die Vektorsuche bei Inhaltseinbettungen hinzugefügt . Grund: Die Suche erfordert einen hohen Rückruf, wodurch hnsw besser ist als ivfflat Reference

  • vector_ip_ops
  • vector_cosine_ops
  • vector_l1_ops

• Indexe für Titel, Autor und Inhalt hinzugefügt

  • Die GIN-Indizierung wird für Inhalte im TSVECTOR-Datentyp verwendet

• Paginierung hinzugefügt, um Ladezeiten zu verkürzen

  • Limit und Offset in Abfragen

• Profil: Gipfel

• Virtuelle Benutzer: 20

• Testdauer: 5 Minuten

• Endpunkttreffer: POST /api/v1/magazine/hybridsearch/1 („glasgow“, „game“, „business“, „shubham“, „food“ und „modern“)

• Insgesamt gesendete Anfragen: 10.915

• Anfrage pro Sekunde: 35,62

• Durchschnittliche Reaktionszeit: 116 ms

---

Erläuterung der Hybrid-Suchimplementierung

Es werden zwei einzelne Dienste zur Textsuche und zur Vektorsuche genutzt

Einbettungen werden durch das Meta-Lama-Modell „snowflake-arctic-embed“ generiert und sind leichtgewichtig.

• SCHRITT 1: Gemeinsame Objekte aus den Ergebnissen der Vektor- und Volltextsuche werden zuerst angezeigt.

• SCHRITT 2: Gefolgt von Objekten aus der reinen Textsuche,

• SCHRITT 3: Restliche Objekte aus der Vektorsuche.

---

Relevanztest für Ergebnisse

• Abfrage: Vektor „glasgow“, gibt „Celtic Feast Journal“ zurück, dessen Inhalt „Schottland“ enthält.

• Abfrage: Vektor „Shortbread“, gibt „Celtic Feast Journal“ zurück, da „Shortbread“ mit „Scotland“ verwandt ist.

• Abfrage: Schlüsselwort/Volltext „shubham“, gibt „Physics Refresher“ mit dem Autorennamen „Shubham Thorve“ zurück.

• Abfrage: Schlüsselwort/Volltext „mayank“, gibt „Digit Gaming“ zurück, das den Autorennamen „Mayank Khurana“ hat.

• Abfrage: Schlüsselwort/Volltext „Monat“, gibt „Dalal Street Journal“ zurück, das den Inhalt „Alles über Videospiele in diesem Monat“ enthält.

Das Datenbankschema ORM befindet sich in /model

---