تنزيل NeumAI - تنزيل كود مصدر NeumAI

NeumAI

شفرة المصدر الأخرى

neumai 0.0.40

تنزيل

نيوم آي

الصفحة الرئيسية | التوثيق | مدونة | الخلاف | تغريد

Neum AI عبارة عن منصة بيانات تساعد المطورين على الاستفادة من بياناتهم لوضع نماذج اللغات الكبيرة في سياقها من خلال إنشاء الاسترجاع المعزز (RAG). ويتضمن ذلك استخراج البيانات من مصادر البيانات الحالية مثل تخزين المستندات وNoSQL، ومعالجة المحتويات في عمليات تضمين المتجهات واستيعاب عمليات تضمين المتجهات في قواعد بيانات المتجهات للبحث عن التشابه.

إنه يوفر لك حلاً شاملاً لـ RAG يمكنه التوسع مع تطبيقك وتقليل الوقت المستغرق في دمج الخدمات مثل موصلات البيانات ونماذج التضمين وقواعد بيانات المتجهات.

سمات

؟ بنية موزعة عالية الإنتاجية للتعامل مع مليارات نقاط البيانات. يسمح بدرجات عالية من الموازاة لتحسين إنشاء التضمين واستيعابه.
؟ موصلات البيانات المضمنة لمصادر البيانات الشائعة وخدمات التضمين ومخازن المتجهات.
مزامنة مصادر البيانات في الوقت الفعلي لضمان تحديث بياناتك دائمًا.
♻ المعالجة المسبقة للبيانات القابلة للتخصيص في شكل تحميل وتقطيع واختيار.
؟ إدارة بيانات متماسكة لدعم الاسترجاع المختلط مع البيانات الوصفية. يقوم Neum AI تلقائيًا بتعزيز البيانات الوصفية وتتبعها لتوفير تجربة استرجاع غنية.

التحدث معنا

يمكنك التواصل مع فريقنا إما عبر البريد الإلكتروني ([email protected]) أو عبر Discord أو عن طريق جدولة مكالمة معنا.

ابدء

سحابة نيوم للذكاء الاصطناعي

سجل اليوم على Dashboard.neum.ai. شاهد بدايتنا السريعة للبدء.

تدعم سحابة Neum AI Cloud بنية موزعة واسعة النطاق لتشغيل ملايين المستندات من خلال تضمين المتجهات. للحصول على المجموعة الكاملة من الميزات، راجع: Cloud vs Local

التنمية المحلية

تثبيت حزمة neumai :

pip install neumai

لإنشاء مسارات البيانات الأولى الخاصة بك، تفضل بزيارة Quickstart.

على مستوى عالٍ، يتكون المسار من مصدر واحد أو عدة مصادر لسحب البيانات منها، وموصل تضمين واحد لتوجيه المحتوى، وموصل حوض واحد لتخزين المتجهات المذكورة. باستخدام هذا المقتطف من التعليمات البرمجية، سنقوم بصياغة كل هذه العناصر وتشغيل المسار:

إنشاء وتشغيل خط الأنابيب

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

إنشاء وتشغيل خط أنابيب - موصل Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

خط أنابيب النشر إلى Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )