Téléchargement NeumAI - Téléchargement du code source NeumAI

NeumAI

Autre code source

neumai 0.0.40

Télécharger

Neum IA

Page d'accueil | Documents | Blogue | Discorde | Gazouillement

Neum AI est une plate-forme de données qui aide les développeurs à exploiter leurs données pour contextualiser des modèles de langage étendus via la génération augmentée de récupération (RAG). Cela inclut l'extraction de données à partir de sources de données existantes telles que le stockage de documents et NoSQL, le traitement du contenu dans des intégrations vectorielles et l'ingestion des intégrations vectorielles dans bases de données vectorielles pour la recherche de similarité.

Il vous fournit une solution complète pour RAG qui peut évoluer avec votre application et réduire le temps passé à intégrer des services tels que des connecteurs de données, des modèles d'intégration et des bases de données vectorielles.

Caractéristiques

? Architecture distribuée à haut débit pour gérer des milliards de points de données. Permet des degrés élevés de parallélisation pour optimiser la génération et l’ingestion d’intégration.
? Connecteurs de données intégrés vers des sources de données communes, intégrant des services et des magasins de vecteurs.
Synchronisation en temps réel des sources de données pour garantir que vos données sont toujours à jour.
♻ Prétraitement des données personnalisable sous forme de chargement, de segmentation et de sélection.
? Gestion cohérente des données pour prendre en charge la récupération hybride avec des métadonnées. Neum AI augmente et suit automatiquement les métadonnées pour offrir une expérience de récupération riche.

Parlez-nous

Vous pouvez joindre notre équipe soit par e-mail ([email protected]), sur Discord ou en planifiant un appel avec nous.

Commencer

Neum AI Cloud

Inscrivez-vous aujourd’hui sur Dashboard.neum.ai. Consultez notre guide de démarrage rapide pour commencer.

Le Neum AI Cloud prend en charge une architecture distribuée à grande échelle pour exécuter des millions de documents via l'intégration vectorielle. Pour l'ensemble complet des fonctionnalités, voir : Cloud vs Local

Développement local

Installez le paquet neumai :

pip install neumai

Pour créer vos premiers pipelines de données, visitez notre guide de démarrage rapide.

À un niveau élevé, un pipeline se compose d'une ou de plusieurs sources à partir desquelles extraire les données, d'un connecteur intégré pour vectoriser le contenu et d'un connecteur récepteur pour stocker lesdits vecteurs. Avec cet extrait de code, nous allons créer tout cela et exécuter un pipeline :

Créer et exécuter un pipeline

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Créer et exécuter un pipeline - Connecteur Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Pipeline de publication sur Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )