web vector storage下载 - web vector storage源代码下载

web vector storage

Ai源码

v1.0.0

下载

Web矢量存储

Web Vector Storage (WVS) 是一个轻量级且高效的向量数据库，它将文档向量存储在浏览器的 IndexedDB 中。该包允许您使用向量嵌入对文本文档执行语义相似性搜索。语义搜索是指理解文本文档和查询的含义和上下文的能力，从而实现更准确和相关的搜索结果。

Web Vector Storage 支持各种嵌入提供程序和模型来生成嵌入以将文本文档转换为向量，并提供基于余弦相似度搜索相似文档的接口。

矢量存储是使用大型语言模型 (LLM) 构建检索增强生成 (RAG) 生成 AI 应用程序的核心组件。当在边缘（即浏览器内）运行法学硕士时，拥有网络浏览器本机向量存储可能会很有用。这样可以实现用户数据的本地存储以及利用用户设备内的本地计算能力，从而减轻开销和成本。

特征

在 IndexedDB 中存储和管理文档向量
对文本文档执行相似性搜索
根据元数据或文本内容过滤搜索结果
自动管理存储大小并在达到空间限制时删除最近最少使用的文档
使用 OpenAI 嵌入 - 需要 OpenAI API 密钥并且需要花钱。默认模型是text-embedding-ada-002
使用 Ollama 嵌入 - 需要 Ollama 的本地实例以及本地嵌入模型。默认模型是nomic-embed-text
使用 HuggingFace 变压器嵌入。默认型号为all-MiniLM-L6-v2

余弦相似度算法

余弦相似度是内积空间中两个非零向量之间相似度的度量。它被定义为两个向量之间的角度的余弦。余弦相似度取值范围为-1到1，其中1表示完全相似，0表示不相似，-1表示完全不相似。

在这个包中，余弦相似度用于衡量文档向量和查询向量之间的相似度。余弦相似度得分是使用向量的点积除以它们的幅度的乘积来计算的。

LRU机制

最近最少使用（LRU）机制用于管理存储大小，并在存储大小超过指定限制时自动删除文档。文档按命中计数器（升序）排序，然后按时间戳（升序）排序。首先删除点击次数最少且时间戳最旧的文档，直到存储大小低于限制。

安装

使用 npm 安装包：

npm i web-vector-storage

用法

OpenAI 嵌入

以下是如何使用 VectorStorage 类的基本示例：

 import { VectorStorage } from "web-vector-storage" ;
import { OpenAIEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OpenAIEmbedder ( { apiKey : "your-openai-api-key" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

奥拉马嵌入

以下是如何使用 VectorStorage 类的基本示例：

 import { VectorStorage } from "web-vector-storage" ;
import { OllamaEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OllamaEmbedder ( { embeddingModel : "your-favorite-ollama-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

HuggingFace 变压器嵌入

以下是如何使用 VectorStorage 类的基本示例：

 import { VectorStorage } from "web-vector-storage" ;
import { HFTransformerEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new HFTransformerEmbedder ( { embeddingModel : "your-favorite-hf-transformer-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

应用程序编程接口

矢量存储

IndexedDB 中管理文档向量的主类。

构造函数（嵌入器：IEmbedder，选项：IWVSOptions）

创建 VectorStorage 的新实例。

embedder ：嵌入器（OpenAIEmbedder、OllamaEmbedder、HFTransformerEmbedder）类的实例

 interface IEmbedderOptions {
  apiKey ?: string ; // The API key to use.  Only applicable to OpenAIEmbedder.
  baseUrl ?: string ; // The base URL to use to connect to remote service.  Only applicable to OllamaEmbedder and defaults to http://localhost:11434
  embeddingModel ?: string ; // The specific embedding model to use.  Each embedder has a default if none is specified.
}

options ：包含以下属性的对象：

 interface IWVSOptions {
  maxSizeInMB ?: number ; // The maximum size of the storage in megabytes. Defaults to 2GB
  debounceTime ?: number ; // The debounce time in milliseconds for saving to IndexedDB. Defaults to 0.
}

addText（文本：字符串，元数据：对象）：Promise

将文本文档添加到存储并返回创建的文档。

text ：文档的文本内容。
元数据：包含与文档关联的元数据的对象。

addTexts(文本: string[], 元数据: object[]): Promise<IWVSDocument[]>

将多个文本文档添加到存储中并返回创建的文档的数组。

texts ：文档的文本内容数组。
元数据：与文档关联的元数据对象的数组。

相似性搜索（参数：ISimilaritySearchParams）：Promise <IWVSDocument []>

对存储的文档执行相似性搜索并返回匹配文档的数组。

params ：包含以下属性的对象：

query ：用于搜索的查询文本或向量。
k （可选）：要返回的顶部结果的数量（默认值：4）。
filterOptions （可选）：指定搜索过滤条件的对象。

IWVS文档接口

IWVSDocument 接口表示存储在矢量数据库中的文档对象。它包含以下属性：

 interface IWVSDocument {
  hits ?: number ; // The number of hits (accesses) for the document. Omit if the value is 0.
  metadata : object ; // The metadata associated with the document for filtering.
  text : string ; // The text content of the document.
  timestamp : number ; // The timestamp indicating when the document was added to the store.
  vectorMag : number ; // The magnitude of the document vector.
  vector : number [ ] ; // The vector representation of the document.
}