voy
1.0.0
? In Arbeit arbeiten
Voy steht aktiv. Infolgedessen ist die API nicht stabil. Bitte beachten Sie, dass vor der bevorstehenden Veröffentlichung 1.0 möglicherweise Änderungen vorhanden sind.
Ein kleiner Blick auf das, woran wir arbeiten:
- Eingebaute Texttransformation in WebAssembly: Ab sofort verlässt sich Voy auf JavaScript-Bibliotheken wie
transformers.jsum Texteinbettungen zu generieren. Weitere Informationen finden Sie unter Verwendung.- Index-Update: Derzeit ist es erforderlich, den Index neu zu bauen, wenn eine Ressourcenaktualisierung auftritt.
- Unterstützung von TypeScript: Aufgrund der Einschränkung der WASM-Werkzeuge werden komplexe Datentypen nicht automatisch generiert.
# with npm
npm i voy-search
# with Yarn
yarn add voy-search
# with pnpm
pnpm add voy-searchclass VoyDie Voy -Klasse verkauft einen Index und enthüllt alle öffentlichen Methoden, die Voy zu bieten hat.
class Voy {
/**
* By instantiating with a resource, Voy will construct the index. If the resource is
* absent, it will construct an empty index. Calling Voy.index() later on will override
* the empty index.
* @param {Resource | undefined} resource
*/
constructor ( resource ?: Resource ) ;
/**
* Index given resource. Voy.index() is designed for the use case where a Voy instance
* is instantiated without a resource. It will override the existing index. If you'd like
* to keep the existing index, you can use Voy.add() to add your resource to the index.
* @param {Resource} resource
*/
index ( resource : Resource ) : void ;
/**
* Search top k results with given query embedding.
* @param {Float32Array} query: Query Embedding
* @param {number} k: Number of items in the search result
* @returns {SearchResult}
*/
search ( query : Float32Array , k : number ) : SearchResult ;
/**
* Add given resource to the index.
* @param {Resource} resource
*/
add ( resource : Resource ) : void ;
/**
* Remove given resource from the index.
* @param {Resource} resource
*/
remove ( resource : Resource ) : void ;
/**
* Remove all resources from the index.
*/
clear ( ) : void ;
/**
* @returns {number}
*/
size ( ) : number ;
/**
* Serialize a Voy instance.
* @returns {string}
*/
serialize ( ) : string ;
/**
* Deserialize a serialized index into a Voy instance.
* @param {string} serialized_index
* @returns {Voy}
*/
static deserialize ( serialized_index : string ) : Voy ;
}
interface Resource {
embeddings : Array < {
id : string ; // id of the resource
title : string ; // title of the resource
url : string ; // url to the resource
embeddings : number [ ] ; // embeddings of the resource
} > ;
}
interface SearchResult {
neighbors : Array < {
id : string ; // id of the resource
title : string ; // title of the resource
url : string ; // url to the resource
} > ;
}Neben der Voy -Klasse exportiert Voy auch alle Instanzmethoden als individuelle Funktionen.
index(resource: Resource): SerializedIndexEs indiziert die angegebene Ressource und gibt einen serialisierten Index zurück.
Parameter
interface Resource {
embeddings : Array < {
id : string ; // id of the resource
title : string ; // title of the resource
url : string ; // url to the resource
embeddings : number [ ] ; // embeddings of the resource
} > ;
}Zurückkehren
type SerializedIndex = string ; search(index: SerializedIndex, query: Query, k: NumberOfResult): SearchResult Es deserialisiert den angegebenen Index und sucht nach den k nächsten Nachbarn der Abfrage.
Parameter
type SerializedIndex = string ;
type Query = Float32Array ; // embeddings of the search query
type NumberOfResult = number ; // K top results to returnZurückkehren
interface SearchResult {
neighbors : Array < {
id : string ; // id of the resource
title : string ; // title of the resource
url : string ; // url to the resource
} > ;
} add(index: SerializedIndex, resource: Resource): SerializedIndexEs fügt dem Index Ressourcen hinzu und gibt einen aktualisierten serialisierten Index zurück.
Parameter
type SerializedIndex = string ;
interface Resource {
embeddings : Array < {
id : string ; // id of the resource
title : string ; // title of the resource
url : string ; // url to the resource
embeddings : number [ ] ; // embeddings of the resource
} > ;
}Zurückkehren
type SerializedIndex = string ; remove(index: SerializedIndex, resource: Resource): SerializedIndexEs entfernt Ressourcen aus dem Index und gibt einen aktualisierten serialisierten Index zurück.
Parameter
type SerializedIndex = string ;
interface Resource {
embeddings : Array < {
id : string ; // id of the resource
title : string ; // title of the resource
url : string ; // url to the resource
embeddings : number [ ] ; // embeddings of the resource
} > ;
}Zurückkehren
type SerializedIndex = string ; clear(index: SerializedIndex): SerializedIndexEs entfernt alle Elemente aus dem Index und gibt einen leeren serialisierten Index zurück.
Parameter
type SerializedIndex = string ;Zurückkehren
type SerializedIndex = string ; size(index: SerializedIndex): number;Es gibt die Größe des Index zurück.
Parameter
type SerializedIndex = string ; Ab sofort verlässt sich Voy auf Bibliotheken wie transformers.js und web-ai um Einbettungen für Text zu generieren:
import { TextModel } from "@visheratin/web-ai" ;
const { Voy } = await import ( "voy-search" ) ;
const phrases = [
"That is a very happy Person" ,
"That is a Happy Dog" ,
"Today is a sunny day" ,
] ;
const query = "That is a happy person" ;
// Create text embeddings
const model = await ( await TextModel . create ( "gtr-t5-quant" ) ) . model ;
const processed = await Promise . all ( phrases . map ( ( q ) => model . process ( q ) ) ) ;
// Index embeddings with voy
const data = processed . map ( ( { result } , i ) => ( {
id : String ( i ) ,
title : phrases [ i ] ,
url : `/path/ ${ i } ` ,
embeddings : result ,
} ) ) ;
const resource = { embeddings : data } ;
const index = new Voy ( resource ) ;
// Perform similarity search for a query embeddings
const q = await model . process ( query ) ;
const result = index . search ( q . result , 1 ) ;
// Display search result
result . neighbors . forEach ( ( result ) =>
console . log ( ` voy similarity search result: " ${ result . title } "` )
) ; import { TextModel } from "@visheratin/web-ai" ;
const { Voy } = await import ( "voy-search" ) ;
const phrases = [
"That is a very happy Person" ,
"That is a Happy Dog" ,
"Today is a sunny day" ,
"Sun flowers are blooming" ,
] ;
const model = await ( await TextModel . create ( "gtr-t5-quant" ) ) . model ;
const processed = await Promise . all ( phrases . map ( ( q ) => model . process ( q ) ) ) ;
const data = processed . map ( ( { result } , i ) => ( {
id : String ( i ) ,
title : phrases [ i ] ,
url : `/path/ ${ i } ` ,
embeddings : result ,
} ) ) ;
const resourceA = { embeddings : data . slice ( 0 , 2 ) } ;
const resourceB = { embeddings : data . slice ( 2 ) } ;
const indexA = new Voy ( resourceA ) ;
const indexB = new Voy ( resourceB ) ; Lizenziert unter einem von
nach Ihrer Option.
Sofern Sie nicht ausdrücklich anders angeben, ist ein Beitrag, der absichtlich zur Aufnahme in die Arbeit von Ihnen eingereicht wird, wie in der Apache-2.0-Lizenz definiert, ohne zusätzliche Bedingungen doppelt lizenziert wie oben.
