Descarga NeumAI - Descarga del código fuente NeumAI

NeumAI

Otro código fuente

neumai 0.0.40

Descargar

Neum AI

Página de inicio | Documentación | Blog | Discordia | Gorjeo

Neum AI es una plataforma de datos que ayuda a los desarrolladores a aprovechar sus datos para contextualizar modelos de lenguajes grandes a través de la generación aumentada de recuperación (RAG). Esto incluye extraer datos de fuentes de datos existentes como almacenamiento de documentos y NoSQL, procesar los contenidos en incrustaciones de vectores e ingerir las incrustaciones de vectores en Bases de datos vectoriales para búsqueda de similitudes.

Le proporciona una solución integral para RAG que puede escalar con su aplicación y reducir el tiempo dedicado a integrar servicios como conectores de datos, modelos integrados y bases de datos vectoriales.

Características

? Arquitectura distribuida de alto rendimiento para manejar miles de millones de puntos de datos. Permite altos grados de paralelización para optimizar la generación e ingestión de incrustaciones.
? Conectores de datos integrados para fuentes de datos comunes, servicios integrados y almacenes de vectores.
Sincronización en tiempo real de fuentes de datos para garantizar que sus datos estén siempre actualizados.
♻ Preprocesamiento de datos personalizable en forma de carga, fragmentación y selección.
? Gestión de datos coherente para respaldar la recuperación híbrida con metadatos. Neum AI aumenta y rastrea automáticamente los metadatos para brindar una experiencia de recuperación enriquecida.

Habla con nosotros

Puede comunicarse con nuestro equipo por correo electrónico ([email protected]), en Discord o programando una llamada con nosotros.

Empezando

Nube de IA Neum

Regístrese hoy en Dashboard.neum.ai. Consulte nuestro inicio rápido para comenzar.

Neum AI Cloud admite una arquitectura distribuida a gran escala para ejecutar millones de documentos mediante la incrustación de vectores. Para conocer el conjunto completo de funciones, consulte: Nube vs Local

Desarrollo Local

Instale el paquete neumai :

pip install neumai

Para crear sus primeros canales de datos, visite nuestro inicio rápido.

En un nivel alto, una canalización consta de una o varias fuentes de las que extraer datos, un conector de inserción para vectorizar el contenido y un conector de receptor para almacenar dichos vectores. Con este fragmento de código, crearemos todo esto y ejecutaremos una canalización:

Crear y ejecutar una canalización

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Crear y ejecutar una canalización: conector de Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Canalización de publicación en Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )