vectorai Télécharger - vectorai Téléchargement du code source

vectorai

Autre code source

v0.2.5

Télécharger

(VectorAI est déprécié et n'est plus maintenu. Nous vous recommandons d'utiliser Relevance AI pour utiliser la recherche vectorielle, consultez https://tryrelevance.com)

Vector AI est un cadre conçu pour rendre le processus de création d'applications vectorielles de qualité production aussi rapidement et facilement que possible. Créez, stockez, manipulez, recherchez et analysez des vecteurs aux côtés de documents JSON pour alimenter des applications telles que la recherche neuronale, la recherche sémantique, les recommandations personnalisées, etc.

Visitez notre site Web et inscrivez-vous pour une clé API : https://getvectorai.com
Pour la documentation Python : https://vector-ai.github.io/vectorai
Pour la documentation de l'API REST : https://api.vctr.ai/documentation
Rejoignez notre discord : https://discord.gg/CbwUxyD
Pour une introduction plus douce comparant nos fonctionnalités, lisez https://getvectorai.com/production-ready-search-in-5-minutes/

Caractéristiques

Vectorisation de données multimédia : Image2Vec, Audio2Vec, etc. (Toutes les données peuvent être transformées en vecteurs grâce à l'apprentissage automatique)
Magasin orienté document : stockez vos vecteurs à côté de documents sans avoir à effectuer une recherche dans la base de données pour les métadonnées sur les vecteurs.
Recherche de similarité de vecteurs : activez la recherche de vecteurs et de contenu multimédia riche avec la recherche de similarité de vecteurs. L'épine dorsale de nombreux cas d'utilisation populaires de l'IA tels que la recherche d'images inversées, les recommandations, la personnalisation, etc.
Recherche hybride : il existe des scénarios dans lesquels la recherche vectorielle n'est pas aussi efficace que la recherche traditionnelle, par exemple la recherche de références. Vector AI vous permet de combiner la recherche vectorielle avec toutes les fonctionnalités de la recherche traditionnelle telles que le filtrage, la recherche floue, la correspondance de mots clés pour créer une recherche encore plus puissante.
Recherche pondérée multi-modèles : Notre recherche de vecteurs est hautement personnalisable et vous pouvez effectuer des recherches avec plusieurs vecteurs à partir de plusieurs modèles et leur attribuer des pondérations différentes.
Opérations vectorielles : recherche flexible avec des opérations prêtes à l'emploi sur les vecteurs. par exemple moyenne, médiane, somme, etc.
Agrégation : toute l'agrégation traditionnelle à laquelle vous vous attendez. par exemple, regrouper par moyenne, tableaux croisés dynamiques, etc.
Clustering : interprétez vos vecteurs et vos données en les allouant à des buckets et obtenez des statistiques sur ces différents buckets en fonction des données que vous fournissez.
Analyse vectorielle : obtenez une meilleure compréhension de vos vecteurs en utilisant des analyses vectorielles pratiques prêtes à l'emploi, vous permettant de mieux comprendre la qualité de vos vecteurs.

Terminologies rapides

Modèles/Encodeurs (alias Embedders) ~ Transforme les données en vecteurs, par exemple Word2Vec transforme les mots en vecteurs
Recherche de similarité de vecteurs (alias recherche du voisin le plus proche, recherche de distance)
Collection (aka. Index, Table) ~ une collection est composée de plusieurs documents
Documents (alias Json, Item, Dictionary, Row) ~ un document peut contenir des vecteurs, du texte et des liens vers des vidéos/images/audio.

Démarrage rapide

Installez via pip! Compatible avec n'importe quel système d'exploitation.

 pip install vectorai

Si vous avez besoin de la version nocturne en raison d'améliorations en cours, vous pouvez l'installer en utilisant :

 pip install vectorai-nightly

Remarque : même si la version nocturne réussit toujours les tests automatisés, elle peut ne pas être stable.

Consultez notre carnet de démarrage rapide pour savoir comment créer un moteur de recherche texte/image/audio en 5 minutes : quickstart.ipynb

 from vectorai import ViClient, request_api_key

api_key = request_api_key(username=<username>, email=<email>, description=<description>, referral_code="github_referred")

vi_client = ViClient(username=username, api_key=api_key)

from vectorai.models.deployed import ViText2Vec
text_encoder = ViText2Vec(username, api_key)

documents = [
    {
        '_id': 0,
        'color': 'red'
    },
    {
        '_id': 1,
        'color': 'blue'
    }
]

# Insert the data
vi_client.insert_documents('test-collection', documents, models={'color': text_encoder.encode})

# Search the data
vi_client.search('test-collection', text_encoder.encode('maroon'), 'color_vector_', page_size=2)

# Get Recommendations
vi_client.search_by_id('test-collection', '1', 'color_vector_', page_size=2)

Accédez à de puissantes analyses vectorielles

Vector AI dispose de visualisations puissantes pour vous permettre d'analyser vos vecteurs aussi facilement que possible - en 1 ligne de code.

 vi_client.plot_dimensionality_reduced_vectors(documents, 
    point_label='title', 
    dim_reduction_field='_dr_ivis', 
    cluster_field='centroid_title', cluster_label='centroid_title')

 vi_client.plot_2d_cosine_similarity(
    documents,
    documents[0:2],
    vector_fields=['use_vector_'],
    label='name',
    anchor_document=documents[0]
)

Comparez facilement les vecteurs et leurs performances de recherche sur vos documents !

Pourquoi Vector AI par rapport à d’autres implémentations de Nearest Neighbour ?

Prêt pour la production : notre API est entièrement gérée et peut évoluer pour alimenter des centaines de millions de recherches par jour. Même pour des millions de recherches, il est extrêmement rapide grâce à la mise en cache périphérique, à l'utilisation du GPU et à l'optimisation logicielle. Vous n'avez donc jamais à vous soucier de faire évoluer votre infrastructure à mesure que votre cas d'utilisation évolue.
Simple à utiliser. Vite pour démarrer. : L'un de nos principes fondamentaux de conception est que nous nous concentrons sur la façon dont les gens peuvent commencer à utiliser Vector AI le plus rapidement possible, tout en garantissant qu'il existe toujours une tonne de fonctionnalités et d'options de personnalisation.
Compréhension plus riche de vos vecteurs et de leurs propriétés : notre bibliothèque est conçue pour permettre aux utilisateurs de faire plus que simplement obtenir les voisins les plus proches, mais de réellement les expérimenter, les analyser, les interpréter et les améliorer au moment où les données sont ajoutées à l'index.
Stockez facilement les données vectorielles : la nature orientée document de Vector AI permet aux utilisateurs d'étiqueter, de filtrer la recherche et de comprendre autant que possible leurs vecteurs.
Accès aux données en temps réel : Les données Vector AI sont accessibles en temps réel, dès que les données sont insérées, elles sont immédiatement consultables. Pas besoin d'attendre des heures pour créer un index.
Agnostique du framework : nous n'allons jamais imposer un framework spécifique sur Vector AI. Si vous disposez d'un framework de choix, vous pouvez l'utiliser - à condition que vos documents soient sérialisables en JSON !

Utiliser des modèles VectorHub

VectorHub est le principal référentiel de modèles de Vector AI. Les modèles de VectorHub sont construits avec des interfaces scikit-learn et contiennent tous des exemples d'intégration de Vector AI. Si vous souhaitez expérimenter de nouveaux modèles disponibles dans le commerce, nous vous recommandons d'essayer les modèles VectorHub : ils ont tous été testés sur Colab et peuvent être utilisés en seulement 3 lignes de code !

Règles de schéma pour les documents (vecteurs BYO et identifiants)

Assurez-vous que tous les champs vectoriels contiennent un « _vecteur_ » dans leur nom et que tous les champs d'ID portent le nom « _id ».

Par exemple:

 example_item = {
    '_id': 'James',
    'skills_vector_': [0.123, 0.456, 0.789, 0.987, 0.654, 0.321]
}

Les éléments suivants ne seront pas reconnus comme colonnes d’ID ou colonnes vectorielles.

 example_item = {
    'name_id': 'James',
    'skillsvector_': [0.123, 0.456, 0.789, 0.987, 0.654, 0.321]
}

En quoi cela diffère-t-il de l'API VectorAI ?

Le SDK Python est conçu pour permettre aux Pythonistes de libérer la puissance de VectorAI en aussi peu de lignes de code que possible. Il expose tous les éléments d'une API via notre outil d'automatisation open source et constitue le principal moyen par lequel nos scientifiques et ingénieurs des données interagissent avec le moteur VectorAI pour un prototypage rapide avant que les développeurs n'utilisent les requêtes API.

Remarque : Le SDK VectorAI est construit sur le serveur de développement, ce qui peut parfois provoquer des erreurs. Cependant, cela est important pour garantir que les utilisateurs puissent accéder aux fonctionnalités les plus avancées selon leurs besoins. Si vous rencontrez de tels problèmes, nous vous recommandons de créer un problème GitHub s'il n'est pas urgent, mais n'hésitez pas à envoyer une requête ping au canal Discord pour des demandes plus urgentes.