Unduhan NeumAI - Unduhan kode Sumber NeumAI

NeumAI

Kode sumber lainnya

neumai 0.0.40

Unduh

Neum AI

Beranda | Dokumentasi | Blog | Perselisihan | Twitter

Neum AI adalah platform data yang membantu pengembang memanfaatkan data mereka untuk mengontekstualisasikan Model Bahasa Besar melalui Retrieval Augmented Generation (RAG). Hal ini termasuk mengekstraksi data dari sumber data yang ada seperti penyimpanan dokumen dan NoSQL, memproses konten ke dalam penyematan vektor, dan memasukkan penyematan vektor ke dalam database vektor untuk pencarian kesamaan.

Ini memberi Anda solusi komprehensif untuk RAG yang dapat disesuaikan dengan aplikasi Anda dan mengurangi waktu yang dihabiskan untuk mengintegrasikan layanan seperti konektor data, penyematan model, dan database vektor.

Fitur

? Arsitektur terdistribusi throughput tinggi untuk menangani miliaran titik data. Memungkinkan paralelisasi tingkat tinggi untuk mengoptimalkan pembuatan dan penyerapan penyematan.
? Konektor data bawaan ke sumber data umum, layanan penyematan, dan penyimpanan vektor.
Sinkronisasi sumber data secara real-time untuk memastikan data Anda selalu terkini.
♻ Pra-pemrosesan data yang dapat disesuaikan dalam bentuk pemuatan, pemotongan, dan pemilihan.
? Manajemen data yang kohesif untuk mendukung pengambilan hibrid dengan metadata. Neum AI secara otomatis menambah dan melacak metadata untuk memberikan pengalaman pengambilan yang kaya.

Bicaralah dengan kami

Anda dapat menghubungi tim kami melalui email ([email protected]), melalui perselisihan, atau dengan menjadwalkan panggilan dengan kami.

Memulai

Neum AI Cloud

Daftar hari ini di dashboard.neum.ai. Lihat panduan mulai cepat kami untuk memulai.

Neum AI Cloud mendukung arsitektur terdistribusi berskala besar untuk menjalankan jutaan dokumen melalui penyematan vektor. Untuk fitur lengkap lihat: Cloud vs Lokal

Pembangunan Lokal

Instal paket neumai :

pip install neumai

Untuk membuat saluran data pertama Anda, kunjungi mulai cepat kami.

Pada tingkat tinggi, pipeline terdiri dari satu atau beberapa sumber untuk mengambil data, satu konektor semat untuk membuat vektor konten, dan satu konektor sink untuk menyimpan vektor tersebut. Dengan cuplikan kode ini kita akan membuat semua ini dan menjalankan pipeline:

Membuat dan menjalankan alur

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Membuat dan menjalankan pipeline - konektor Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

Penerbitan saluran pipa ke Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )

Tuan rumah mandiri

Jika Anda tertarik untuk menerapkan Neum AI ke cloud Anda sendiri, hubungi kami di [email protected].

Kami memiliki contoh arsitektur backend yang dipublikasikan di GitHub yang dapat Anda gunakan sebagai titik awal.

Konektor yang Tersedia

Untuk daftar terkini, silakan kunjungi dokumen kami

Konektor sumber

Postgres
File yang Dihosting
Situs web
S3
Gumpalan Azure
titik berbagi
Toko tunggal
Penyimpanan Supabase

Sematkan Konektor

Penyematan OpenAI
Penyematan Azure OpenAI

Konektor Tenggelam

Supabase postgres
lemah
Qdrant
biji pinus
Toko tunggal

Peta jalan

Peta jalan kami berkembang seiring dengan banyaknya pertanyaan, jadi jika ada yang kurang, jangan ragu untuk membuka masalah atau mengirimkan pesan kepada kami.

Konektor

Mencari