web vector storage

Armazenamento de vetores da Web

Web Vector Storage (WVS) é um banco de dados vetorial leve e eficiente que armazena vetores de documentos no IndexedDB do navegador. Este pacote permite realizar pesquisas de similaridade semântica em documentos de texto usando embeddings vetoriais. A pesquisa semântica refere-se à capacidade de compreender o significado e o contexto de documentos de texto e consultas, permitindo resultados de pesquisa mais precisos e relevantes.

O Web Vector Storage oferece suporte a uma variedade de provedores e modelos de incorporação para gerar incorporações para converter documentos de texto em vetores e fornece uma interface para pesquisar documentos semelhantes com base na similaridade de cosseno.

Os armazenamentos de vetores são um componente central na construção de aplicativos de IA generativos de geração de aumento de recuperação (RAG) usando modelos de linguagem grande (LLMs). Ao executar um LLM no edge (ou seja, no navegador), ter um armazenamento de vetores nativo do navegador da web pode ser útil. Isso permite o armazenamento local dos dados do usuário, bem como aproveita a capacidade de computação local no dispositivo do usuário, aliviando assim a sobrecarga e os custos.

Características

• Armazene e gerencie vetores de documentos no IndexedDB
• Realize pesquisas de similaridade em documentos de texto
• Filtre os resultados da pesquisa com base em metadados ou conteúdo de texto
• Gerencie automaticamente o tamanho do armazenamento e remova os documentos usados ​​menos recentemente quando o limite de espaço for atingido
• Use embeddings OpenAI - requer uma chave de API OpenAI e custa dinheiro. O modelo padrão é text-embedding-ada-002
• Usar embeddings do Ollama - requer uma instância local do Ollama junto com um modelo de incorporação local. O modelo padrão é nomic-embed-text
• Use embeddings de transformadores HuggingFace. O modelo padrão é totalmente MiniLM-L6-v2

Algoritmo de similaridade de cosseno

A similaridade de cossenos é uma medida de similaridade entre dois vetores diferentes de zero em um espaço de produto interno. É definido como o cosseno do ângulo entre os dois vetores. O valor de similaridade do cosseno varia de -1 a 1, onde 1 indica similaridade completa, 0 indica nenhuma similaridade e -1 indica dissimilaridade completa.

Neste pacote, a similaridade de cosseno é usada para medir a similaridade entre os vetores do documento e o vetor de consulta. A pontuação de similaridade de cosseno é calculada usando o produto escalar dos vetores, dividido pelo produto de suas magnitudes.

Mecanismo LRU

O mecanismo menos usado recentemente (LRU) é usado para gerenciar o tamanho do armazenamento e remover documentos automaticamente quando o tamanho do armazenamento excede o limite especificado. Os documentos são classificados pelo contador de ocorrências (crescente) e, em seguida, pelo carimbo de data/hora (crescente). Os documentos com a contagem de ocorrências mais baixa e os carimbos de data/hora mais antigos são removidos primeiro, até que o tamanho do armazenamento fique abaixo do limite.

Instalação

Instale o pacote usando npm:

npm i web-vector-storage

Uso

Incorporações OpenAI

Aqui está um exemplo básico de como usar a classe VectorStorage:

 import { VectorStorage } from "web-vector-storage" ;
import { OpenAIEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OpenAIEmbedder ( { apiKey : "your-openai-api-key" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

Incorporações Ollama

Aqui está um exemplo básico de como usar a classe VectorStorage:

 import { VectorStorage } from "web-vector-storage" ;
import { OllamaEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OllamaEmbedder ( { embeddingModel : "your-favorite-ollama-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ; 

Incorporações do transformador HuggingFace

Aqui está um exemplo básico de como usar a classe VectorStorage:

 import { VectorStorage } from "web-vector-storage" ;
import { HFTransformerEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new HFTransformerEmbedder ( { embeddingModel : "your-favorite-hf-transformer-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ; 

API

Armazenamento vetorial

A principal classe para gerenciar vetores de documentos no IndexedDB.

construtor (incorporador: IEmbedder, opções: IWVSOptions)

Cria uma nova instância do VectorStorage.

embedder : uma instância de uma classe incorporadora (OpenAIEmbedder, OllamaEmbedder, HFTransformerEmbedder)

 interface IEmbedderOptions {
  apiKey ?: string ; // The API key to use.  Only applicable to OpenAIEmbedder.
  baseUrl ?: string ; // The base URL to use to connect to remote service.  Only applicable to OllamaEmbedder and defaults to http://localhost:11434
  embeddingModel ?: string ; // The specific embedding model to use.  Each embedder has a default if none is specified.
}

options : um objeto que contém as seguintes propriedades:

 interface IWVSOptions {
  maxSizeInMB ?: number ; // The maximum size of the storage in megabytes. Defaults to 2GB
  debounceTime ?: number ; // The debounce time in milliseconds for saving to IndexedDB. Defaults to 0.
}

addText(texto: string, metadados: objeto): Promessa

Adiciona um documento de texto à loja e retorna o documento criado.

• text : O conteúdo do texto do documento.
• metadados : um objeto que contém metadados associados ao documento.

addTexts(textos: string[], metadados: objeto[]): Promessa<IWVSDocument[]>

Adiciona vários documentos de texto ao armazenamento e retorna uma série de documentos criados.

• texts : uma matriz de conteúdo de texto para os documentos.
• metadatas : uma matriz de objetos de metadados associados aos documentos.

similaritySearch(params: ISimilaritySearchParams): Promise<IWVSDocument[]>

Executa uma pesquisa de similaridade nos documentos armazenados e retorna uma matriz de documentos correspondentes.

params : um objeto que contém as seguintes propriedades:

• query : o texto ou vetor da consulta para a pesquisa.
• k (opcional): O número dos principais resultados a serem retornados (padrão: 4).
• filterOptions (opcional): um objeto que especifica critérios de filtro para a pesquisa.

Interface de documento IWVS

A interface IWVSDocument representa um objeto de documento armazenado no banco de dados vetorial. Ele contém as seguintes propriedades:

 interface IWVSDocument {
  hits ?: number ; // The number of hits (accesses) for the document. Omit if the value is 0.
  metadata : object ; // The metadata associated with the document for filtering.
  text : string ; // The text content of the document.
  timestamp : number ; // The timestamp indicating when the document was added to the store.
  vectorMag : number ; // The magnitude of the document vector.
  vector : number [ ] ; // The vector representation of the document.
} 

Contribuindo

Contribuições para este projeto são bem-vindas! Se você quiser contribuir, siga estes passos:

1. Bifurque o repositório no GitHub.
2. Clone seu fork em sua máquina local.
3. Crie um novo branch para suas alterações.
4. Faça suas alterações e envie-as para sua filial.
5. Envie suas alterações para seu fork no GitHub.
6. Abra uma solicitação pull do seu branch para o repositório principal.

Certifique-se de que seu código siga o estilo de codificação do projeto e que todos os testes sejam aprovados antes de enviar uma solicitação pull. Se você encontrar algum bug ou tiver sugestões de melhorias, fique à vontade para abrir um problema no GitHub.

Licença

Este projeto está licenciado sob a licença MIT. Consulte o arquivo LICENSE para obter o texto completo da licença.

O Web Vector Storage é baseado no excelente trabalho de Nitai Aharoni. Todos os direitos reservados.