NeumAI

Neum-KI

Startseite | Dokumentation | Blog | Zwietracht | Twitter

Neum AI ist eine Datenplattform, die Entwicklern hilft, ihre Daten zu nutzen, um große Sprachmodelle durch Retrieval Augmented Generation (RAG) zu kontextualisieren. Dazu gehört das Extrahieren von Daten aus vorhandenen Datenquellen wie Dokumentenspeicher und NoSQL, das Verarbeiten der Inhalte in Vektoreinbettungen und das Einspeisen der Vektoreinbettungen in Vektordatenbanken zur Ähnlichkeitssuche.

Es bietet Ihnen eine umfassende Lösung für RAG, die mit Ihrer Anwendung skaliert werden kann und den Zeitaufwand für die Integration von Diensten wie Datenkonnektoren, Einbettungsmodellen und Vektordatenbanken reduziert.

Merkmale

• ? Verteilte Architektur mit hohem Durchsatz zur Verarbeitung von Milliarden von Datenpunkten. Ermöglicht ein hohes Maß an Parallelisierung, um die Einbettungsgenerierung und -aufnahme zu optimieren.
• ? Integrierte Datenkonnektoren zu gängigen Datenquellen, Einbettungsdiensten und Vektorspeichern.
• Echtzeit-Synchronisierung von Datenquellen, um sicherzustellen, dass Ihre Daten immer auf dem neuesten Stand sind.
• ♻ Anpassbare Datenvorverarbeitung in Form von Laden, Chunking und Auswählen.
• ? Kohäsives Datenmanagement zur Unterstützung des hybriden Abrufs mit Metadaten. Neum AI erweitert und verfolgt Metadaten automatisch, um ein umfassendes Abruferlebnis zu bieten.

Sprechen Sie mit uns

Sie erreichen unser Team entweder per E-Mail ([email protected]), über Discord oder indem Sie einen Anruf mit uns vereinbaren.

Erste Schritte

Neum AI Cloud

Melden Sie sich noch heute unter Dashboard.neum.ai an. Sehen Sie sich unseren Schnellstart an, um loszulegen.

Die Neum AI Cloud unterstützt eine groß angelegte, verteilte Architektur, um Millionen von Dokumenten durch Vektoreinbettung auszuführen. Den vollständigen Funktionsumfang finden Sie unter: Cloud vs. lokal

Lokale Entwicklung

Installieren Sie das neumai -Paket:

pip install neumai

Um Ihre ersten Datenpipelines zu erstellen, besuchen Sie unseren Schnellstart.

Auf hoher Ebene besteht eine Pipeline aus einer oder mehreren Quellen zum Abrufen von Daten, einem Einbettungskonnektor zum Vektorisieren des Inhalts und einem Senkenkonnektor zum Speichern dieser Vektoren. Mit diesem Codeausschnitt erstellen wir all dies und führen eine Pipeline aus:

Erstellen und Ausführen einer Pipeline

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Erstellen und Ausführen einer Pipeline – Postgres-Connector

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Veröffentlichungspipeline in Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )

Selbstveranstalter

Wenn Sie daran interessiert sind, Neum AI in Ihrer eigenen Cloud bereitzustellen, kontaktieren Sie uns [email protected].

Wir haben eine Beispiel-Backend-Architektur auf GitHub veröffentlicht, die Sie als Ausgangspunkt verwenden können.

Verfügbare Anschlüsse

Eine aktuelle Liste finden Sie in unseren Dokumenten

Quellanschlüsse

1. Postgres
2. Gehostete Dateien
3. Websites
4. S3
5. Azure Blob
6. Sharepoint
7. Singlestore
8. Supabase-Speicher

Konnektoren einbetten

1. OpenAI-Einbettungen
2. Azure OpenAI-Einbettungen

Waschbeckenanschlüsse

1. Supabase-Postgres
2. Weben
3. Qdrant
4. Tannenzapfen
5. Singlestore

Roadmap

Unsere Roadmap entwickelt sich mit Anfragen weiter. Wenn also etwas fehlt, können Sie gerne ein Problem eröffnen oder uns eine Nachricht senden.

Anschlüsse

• MySQL – Quelle
• GitHub – Quelle
• Google Drive – Quelle
• Gesicht umarmen – Einbetten
• LanceDB – Senke
• Marqo – Waschbecken
• Milvus - Waschbecken
• Chroma – Waschbecken

Suchen

• Feedback zum Abruf
• Filterunterstützung
• Einheitliche Neum-KI-Filter
• Intelligentes Routing (mit einbettungsbasierter Klassifizierung)
• Intelligentes Routing (mit LLM-basierter Klassifizierung)
• Selbstabfrageabruf (mit Generierung von Metadatenattributen)

Erweiterbarkeit

• Konverter von Langchain/Llama Index Document zu Neum Document
• Benutzerdefiniertes Chunking und Laden

Experimental

• Asynchrone Metadatenerweiterung
• Chat-Verlaufs-Connector
• Strukturierter Suchkonnektor (SQL und GraphQL).

Neum Tools

Weitere Tools für Neum AI finden Sie hier:

• neumai-tools: enthält Vorverarbeitungstools zum Laden und Chunking von Daten vor der Generierung von Vektoreinbettungen.