web vector storage

Web-Vektorspeicher

Web Vector Storage (WVS) ist eine leichte und effiziente Vektordatenbank, die Dokumentvektoren in der IndexedDB des Browsers speichert. Mit diesem Paket können Sie semantische Ähnlichkeitssuchen in Textdokumenten mithilfe von Vektoreinbettungen durchführen. Semantische Suche bezieht sich auf die Fähigkeit, die Bedeutung und den Kontext von Textdokumenten und Abfragen zu verstehen und so genauere und relevantere Suchergebnisse zu ermöglichen.

Web Vector Storage unterstützt eine Vielzahl von Einbettungsanbietern und -modellen zum Generieren von Einbettungen zum Konvertieren von Textdokumenten in Vektoren und bietet eine Schnittstelle zum Durchsuchen ähnlicher Dokumente auf der Grundlage der Kosinusähnlichkeit.

Vektorspeicher sind eine Kernkomponente beim Aufbau generativer KI-Anwendungen mit Retrieval Augmentation Generation (RAG) unter Verwendung von Large Language Models (LLMs). Wenn ein LLM am Edge (d. h. im Browser) ausgeführt wird, kann es hilfreich sein, über einen nativen Vektorspeicher des Webbrowsers zu verfügen. Dies ermöglicht die lokale Speicherung der Benutzerdaten sowie die Nutzung der lokalen Rechenkapazität im Gerät des Benutzers und verringert so den Aufwand und die Kosten.

Merkmale

• Speichern und verwalten Sie Dokumentvektoren in IndexedDB
• Führen Sie Ähnlichkeitssuchen für Textdokumente durch
• Filtern Sie Suchergebnisse basierend auf Metadaten oder Textinhalten
• Verwalten Sie die Speichergröße automatisch und entfernen Sie die zuletzt verwendeten Dokumente, wenn das Speicherplatzlimit erreicht ist
• Verwenden Sie OpenAI-Einbettungen – erfordert einen OpenAI-API-Schlüssel und kostet Geld. Das Standardmodell ist text-embedding-ada-002
• Ollama-Einbettungen verwenden – erfordert eine lokale Instanz von Ollama zusammen mit einem lokalen Einbettungsmodell. Das Standardmodell ist nomic-embed-text
• Verwenden Sie HuggingFace-Transformator-Einbettungen. Das Standardmodell ist ausschließlich MiniLM-L6-v2

Kosinus-Ähnlichkeitsalgorithmus

Kosinusähnlichkeit ist ein Maß für die Ähnlichkeit zwischen zwei Vektoren ungleich Null in einem inneren Produktraum. Er ist definiert als der Kosinus des Winkels zwischen den beiden Vektoren. Der Kosinus-Ähnlichkeitswert reicht von -1 bis 1, wobei 1 vollständige Ähnlichkeit angibt, 0 keine Ähnlichkeit angibt und -1 völlige Unähnlichkeit angibt.

In diesem Paket wird die Kosinusähnlichkeit verwendet, um die Ähnlichkeit zwischen Dokumentvektoren und dem Abfragevektor zu messen. Der Kosinus-Ähnlichkeitswert wird anhand des Skalarprodukts der Vektoren dividiert durch das Produkt ihrer Größen berechnet.

LRU-Mechanismus

Der LRU-Mechanismus (Least Recent Used) wird verwendet, um die Speichergröße zu verwalten und Dokumente automatisch zu entfernen, wenn die Speichergröße den angegebenen Grenzwert überschreitet. Dokumente werden nach ihrem Trefferzähler (aufsteigend) und dann nach ihrem Zeitstempel (aufsteigend) sortiert. Dokumente mit der niedrigsten Trefferzahl und den ältesten Zeitstempeln werden zuerst entfernt, bis die Speichergröße unter den Grenzwert fällt.

Installation

Installieren Sie das Paket mit npm:

npm i web-vector-storage

Verwendung

OpenAI-Einbettungen

Hier ist ein einfaches Beispiel für die Verwendung der VectorStorage-Klasse:

 import { VectorStorage } from "web-vector-storage" ;
import { OpenAIEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OpenAIEmbedder ( { apiKey : "your-openai-api-key" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

Ollama-Einbettungen

Hier ist ein einfaches Beispiel für die Verwendung der VectorStorage-Klasse:

 import { VectorStorage } from "web-vector-storage" ;
import { OllamaEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OllamaEmbedder ( { embeddingModel : "your-favorite-ollama-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ; 

HuggingFace Transformer-Einbettungen

Hier ist ein einfaches Beispiel für die Verwendung der VectorStorage-Klasse:

 import { VectorStorage } from "web-vector-storage" ;
import { HFTransformerEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new HFTransformerEmbedder ( { embeddingModel : "your-favorite-hf-transformer-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ; 

API

Vektorspeicher

Die Hauptklasse zum Verwalten von Dokumentvektoren in IndexedDB.

Konstruktor (Einbetter: IEmbedder, Optionen: IWVSOptions)

Erstellt eine neue Instanz von VectorStorage.

Embedder : Eine Instanz einer Embedder-Klasse (OpenAIEmbedder, OllamaEmbedder, HFTransformerEmbedder).

 interface IEmbedderOptions {
  apiKey ?: string ; // The API key to use.  Only applicable to OpenAIEmbedder.
  baseUrl ?: string ; // The base URL to use to connect to remote service.  Only applicable to OllamaEmbedder and defaults to http://localhost:11434
  embeddingModel ?: string ; // The specific embedding model to use.  Each embedder has a default if none is specified.
}

Optionen : Ein Objekt mit den folgenden Eigenschaften:

 interface IWVSOptions {
  maxSizeInMB ?: number ; // The maximum size of the storage in megabytes. Defaults to 2GB
  debounceTime ?: number ; // The debounce time in milliseconds for saving to IndexedDB. Defaults to 0.
}

addText(text: string, metadata: object): Versprechen

Fügt dem Speicher ein Textdokument hinzu und gibt das erstellte Dokument zurück.

• text : Der Textinhalt des Dokuments.
• Metadaten : Ein Objekt, das mit dem Dokument verknüpfte Metadaten enthält.

addTexts(texts: string[], metadatas: object[]): Promise<IWVSDocument[]>

Fügt dem Speicher mehrere Textdokumente hinzu und gibt ein Array erstellter Dokumente zurück.

• Texte : Ein Array von Textinhalten für die Dokumente.
• Metadaten : Ein Array von Metadatenobjekten, die den Dokumenten zugeordnet sind.

SimilaritySearch(params: ISimilaritySearchParams): Promise<IWVSDocument[]>

Führt eine Ähnlichkeitssuche für die gespeicherten Dokumente durch und gibt eine Reihe übereinstimmender Dokumente zurück.

params : Ein Objekt, das die folgenden Eigenschaften enthält:

• Abfrage : Der Abfragetext oder -vektor für die Suche.
• k (optional): Die Anzahl der zurückzugebenden Top-Ergebnisse (Standard: 4).
• filterOptions (optional): Ein Objekt, das Filterkriterien für die Suche angibt.

IWVSDocument-Schnittstelle

Die IWVSDocument-Schnittstelle stellt ein Dokumentobjekt dar, das in der Vektordatenbank gespeichert ist. Es enthält die folgenden Eigenschaften:

 interface IWVSDocument {
  hits ?: number ; // The number of hits (accesses) for the document. Omit if the value is 0.
  metadata : object ; // The metadata associated with the document for filtering.
  text : string ; // The text content of the document.
  timestamp : number ; // The timestamp indicating when the document was added to the store.
  vectorMag : number ; // The magnitude of the document vector.
  vector : number [ ] ; // The vector representation of the document.
} 

Mitwirken

Beiträge zu diesem Projekt sind willkommen! Wenn Sie einen Beitrag leisten möchten, befolgen Sie bitte diese Schritte:

1. Forken Sie das Repository auf GitHub.
2. Klonen Sie Ihren Fork auf Ihren lokalen Computer.
3. Erstellen Sie einen neuen Zweig für Ihre Änderungen.
4. Nehmen Sie Ihre Änderungen vor und übernehmen Sie sie in Ihre Zweigstelle.
5. Übertragen Sie Ihre Änderungen an Ihren Fork auf GitHub.
6. Öffnen Sie eine Pull-Anfrage von Ihrem Branch zum Haupt-Repository.

Bitte stellen Sie sicher, dass Ihr Code dem Codierungsstil des Projekts entspricht und dass alle Tests erfolgreich sind, bevor Sie eine Pull-Anfrage senden. Wenn Sie Fehler finden oder Verbesserungsvorschläge haben, können Sie gerne ein Problem auf GitHub eröffnen.

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert. Den vollständigen Lizenztext finden Sie in der LIZENZ-Datei.

Der Web Vector Storage basiert auf der großartigen Arbeit von Nitai Aharoni. Alle Rechte vorbehalten.