web vector storageダウンロード - web vector storageソースコードのダウンロード

web vector storage

AI ソースコード

v1.0.0

ダウンロード

ウェブベクトルストレージ

Web Vector Storage (WVS) は、ブラウザの IndexedDB にドキュメントベクトルを保存する軽量で効率的なベクトルデータベースです。このパッケージを使用すると、ベクトル埋め込みを使用してテキストドキュメントに対してセマンティック類似性検索を実行できます。セマンティック検索とは、テキストドキュメントとクエリの意味とコンテキストを理解し、より正確で関連性の高い検索結果を実現する機能を指します。

Web Vector Storage は、テキストドキュメントをベクトルに変換するための埋め込みを生成するためのさまざまな埋め込みプロバイダーとモデルをサポートし、コサイン類似性に基づいて類似したドキュメントを検索するためのインターフェイスを提供します。

ベクトルストアは、大規模言語モデル (LLM) を使用して検索拡張生成 (RAG) 生成 AI アプリケーションを構築する際のコアコンポーネントです。 LLM をエッジ (つまりブラウザ内) で実行する場合、Web ブラウザのネイティブベクトルストアがあると便利です。これにより、ユーザーデータのローカルストレージが可能になるだけでなく、ユーザーのデバイス内のローカルコンピューティング能力を活用できるため、オーバーヘッドとコストが軽減されます。

特徴

IndexedDB でドキュメントベクトルを保存および管理する
テキスト文書に対して類似性検索を実行する
メタデータまたはテキストコンテンツに基づいて検索結果をフィルタリングする
ストレージサイズを自動的に管理し、スペース制限に達した場合は、最も最近使用されていないドキュメントを削除します
OpenAI 埋め込みを使用する - OpenAI API キーが必要で、費用がかかります。デフォルトのモデルはtext-embedding-ada-002です
Ollama 埋め込みを使用する - ローカル埋め込みモデルとともに Ollama のローカルインスタンスが必要です。デフォルトのモデルはnomic-embed-textです
HuggingFace トランスフォーマー埋め込みを使用します。デフォルトのモデルはall-MiniLM-L6-v2です

コサイン類似度アルゴリズム

コサイン類似度は、内積空間における 2 つの非ゼロベクトル間の類似性の尺度です。これは、2 つのベクトル間の角度の余弦として定義されます。コサイン類似度の値の範囲は -1 ～ 1 で、1 は完全な類似性を示し、0 は類似性がないことを示し、-1 は完全な非類似性を示します。

このパッケージでは、コサイン類似度を使用して、ドキュメントベクトルとクエリベクトル間の類似性を測定します。コサイン類似性スコアは、ベクトルのドット積をそれらの大きさの積で割ったものを使用して計算されます。

LRU メカニズム

最も最近使用されていない (LRU) メカニズムは、ストレージサイズを管理し、ストレージサイズが指定された制限を超えた場合にドキュメントを自動的に削除するために使用されます。ドキュメントはヒットカウンタ (昇順) で並べ替えられ、次にタイムスタンプ (昇順) で並べ替えられます。ストレージサイズが制限を下回るまで、ヒットカウントが最も低くタイムスタンプが最も古いドキュメントが最初に削除されます。

インストール

npm を使用してパッケージをインストールします。

npm i web-vector-storage

使用法

OpenAI 埋め込み

VectorStorage クラスの基本的な使用例を次に示します。

 import { VectorStorage } from "web-vector-storage" ;
import { OpenAIEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OpenAIEmbedder ( { apiKey : "your-openai-api-key" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

オラマの埋め込み

VectorStorage クラスの基本的な使用例を次に示します。

 import { VectorStorage } from "web-vector-storage" ;
import { OllamaEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new OllamaEmbedder ( { embeddingModel : "your-favorite-ollama-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

HuggingFace トランスフォーマーの埋め込み

VectorStorage クラスの基本的な使用例を次に示します。

 import { VectorStorage } from "web-vector-storage" ;
import { HFTransformerEmbedder } from "web-vector-storage" ;

// Create an instance of VectorStorage
const vectorStore = new VectorStorage ( new HFTransformerEmbedder ( { embeddingModel : "your-favorite-hf-transformer-embedding-model" } ) ) ;

// Add a text document to the store
await vectorStore . addText ( "The quick brown fox jumps over the lazy dog." , {
  category : "example" ,
} ) ;

// Perform a similarity search
const results = await vectorStore . similaritySearch ( {
  query : "A fast fox leaps over a sleepy hound." ,
} ) ;

// Display the search results
console . log ( results ) ;

API

ベクトルストレージ

IndexedDB でドキュメントベクトルを管理するためのメインクラス。

コンストラクター(エンベッダー: IEmbedder、オプション: IWVSOptions)

VectorStorage の新しいインスタンスを作成します。

embedder : embedder (OpenAIEmbedder、OllamaEmbedder、HFTransformerEmbedder) クラスのインスタンス

 interface IEmbedderOptions {
  apiKey ?: string ; // The API key to use.  Only applicable to OpenAIEmbedder.
  baseUrl ?: string ; // The base URL to use to connect to remote service.  Only applicable to OllamaEmbedder and defaults to http://localhost:11434
  embeddingModel ?: string ; // The specific embedding model to use.  Each embedder has a default if none is specified.
}

options : 次のプロパティを含むオブジェクト:

 interface IWVSOptions {
  maxSizeInMB ?: number ; // The maximum size of the storage in megabytes. Defaults to 2GB
  debounceTime ?: number ; // The debounce time in milliseconds for saving to IndexedDB. Defaults to 0.
}

addText(テキスト:文字列、メタデータ:オブジェクト):約束

テキストドキュメントをストアに追加し、作成されたドキュメントを返します。

text : ドキュメントのテキストコンテンツ。
metadata : ドキュメントに関連付けられたメタデータを含むオブジェクト。

addTexts(テキスト: string[]、メタデータ: object[]): Promise<IWVSDocument[]>

複数のテキストドキュメントをストアに追加し、作成されたドキュメントの配列を返します。

texts : ドキュメントのテキストコンテンツの配列。
metadatas : ドキュメントに関連付けられたメタデータオブジェクトの配列。

類似性検索(パラメータ: ISimilaritySearchParams): Promise<IWVSDocument[]>

保存されたドキュメントに対して類似性検索を実行し、一致するドキュメントの配列を返します。

params : 次のプロパティを含むオブジェクト:

query : 検索のクエリテキストまたはベクトル。
k (オプション): 返される上位の結果の数 (デフォルト: 4)。
filterOptions (オプション): 検索のフィルター基準を指定するオブジェクト。

IWVSDocumentインターフェイス

IWVSDocument インターフェイスは、ベクトルデータベースに格納されているドキュメントオブジェクトを表します。これには次のプロパティが含まれます。

 interface IWVSDocument {
  hits ?: number ; // The number of hits (accesses) for the document. Omit if the value is 0.
  metadata : object ; // The metadata associated with the document for filtering.
  text : string ; // The text content of the document.
  timestamp : number ; // The timestamp indicating when the document was added to the store.
  vectorMag : number ; // The magnitude of the document vector.
  vector : number [ ] ; // The vector representation of the document.
}