NeumAI下載 - NeumAI原始碼下載

NeumAI

其他源碼

neumai 0.0.40

下載

神經人工智慧

首頁 |文檔 |部落格 |不和諧|嘰嘰喳喳

Neum AI 是一個資料平台，可協助開發人員利用資料透過檢索增強生成 (RAG) 將大型語言模型置於上下文中，這包括從文件儲存和NoSQL 等現有資料來源中提取數據，將內容處理為向量嵌入，並將向量嵌入引入用於相似性搜尋的向量資料庫。

它為您提供了全面的 RAG 解決方案，可以根據您的應用程式進行擴展，並減少整合式資料連接器、嵌入模型和向量資料庫等服務所花費的時間。

特徵

？高吞吐量分散式架構可處理數十億個資料點。允許高度並行化以優化嵌入生成和攝取。
？連接通用資料來源、嵌入服務和向量儲存的內建資料連接器。
資料來源即時同步，確保您的資料始終最新。
♻ 載入、分塊和選擇形式的可自訂資料預處理。
？內聚資料管理支援元資料的混合檢索。 Neum AI 會自動增強和追蹤元數據，以提供豐富的檢索體驗。

與我們交談

您可以透過電子郵件 ([email protected])、discord 或安排與我們通話聯絡我們的團隊。

入門

Neum 人工智慧雲

立即在dashboard.neum.ai 上註冊。請參閱我們的快速入門以開始使用。

Neum AI Cloud 支援大規模分散式架構，透過向量嵌入運行數百萬個文件。有關完整的功能集，請參閱：雲端與本地

本地發展

安裝neumai包：

pip install neumai

要建立您的第一個資料管道，請造訪我們的快速入門。

在較高層級上，管道由一個或多個用於從中提取資料的來源、一個用於對內容進行向量化的嵌入連接器以及一個用於儲存所述向量的接收器連接器組成。透過這段程式碼，我們將製作所有這些並運行管道：

創建並運行管道

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

建立和運行管道 - Postgres 連接器

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

將管道發佈到 Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )