ดาวน์โหลด NeumAI - ดาวน์โหลดซอร์สโค้ด NeumAI

NeumAI

ซอร์สโค้ดอื่น ๆ

neumai 0.0.40

ดาวน์โหลด

นึม เอไอ

หน้าแรก | เอกสารประกอบ | บล็อก | ไม่ลงรอยกัน | ทวิตเตอร์

Neum AI เป็นแพลตฟอร์มข้อมูลที่ช่วยให้นักพัฒนาใช้ประโยชน์จากข้อมูลของตนเพื่อสร้างบริบทให้กับโมเดลภาษาขนาดใหญ่ผ่านการเรียกข้อมูล Augmented Generation (RAG) ซึ่งรวมถึงการดึงข้อมูลจากแหล่งข้อมูลที่มีอยู่ เช่น พื้นที่จัดเก็บเอกสารและ NoSQL การประมวลผลเนื้อหาลงในการฝังเวกเตอร์ และการนำเวกเตอร์ที่ฝังเข้าไป ฐานข้อมูลเวกเตอร์สำหรับการค้นหาความคล้ายคลึงกัน

โดยมอบโซลูชันที่ครอบคลุมสำหรับ RAG ที่สามารถปรับขนาดตามแอปพลิเคชันของคุณ และลดเวลาที่ใช้ในการรวมบริการต่างๆ เช่น ตัวเชื่อมต่อข้อมูล โมเดลแบบฝัง และฐานข้อมูลเวกเตอร์

คุณสมบัติ

- สถาปัตยกรรมแบบกระจายปริมาณงานสูง เพื่อรองรับจุดข้อมูลนับพันล้านจุด อนุญาตให้มีการขนานในระดับสูงเพื่อเพิ่มประสิทธิภาพการสร้างและการนำเข้าแบบฝัง
- ตัวเชื่อมต่อข้อมูลในตัว ไปยังแหล่งข้อมูลทั่วไป บริการฝัง และร้านค้าเวกเตอร์
การซิงโครไนซ์แหล่งข้อมูลแบบเรียลไทม์ เพื่อให้แน่ใจว่าข้อมูลของคุณเป็นข้อมูลล่าสุดอยู่เสมอ
♻ การประมวลผลข้อมูลล่วงหน้าที่ปรับแต่งได้ ในรูปแบบของการโหลด การแยกส่วน และการเลือก
- การจัดการข้อมูลที่สอดคล้องกัน เพื่อรองรับการดึงข้อมูลแบบไฮบริดด้วยเมตาดาต้า Neum AI จะเพิ่มและติดตามข้อมูลเมตาโดยอัตโนมัติเพื่อมอบประสบการณ์การดึงข้อมูลที่สมบูรณ์

พูดคุยกับเรา

คุณสามารถติดต่อทีมของเราได้ทางอีเมล ([email protected]) ความไม่ลงรอยกันหรือโดยการกำหนดเวลาการโทรกับเรา

เริ่มต้นใช้งาน

นึม เอไอ คลาวด์

สมัครได้แล้ววันนี้ที่ Dashboard.neum.ai ดูการเริ่มต้นอย่างรวดเร็วของเราเพื่อเริ่มต้น

Neum AI Cloud รองรับสถาปัตยกรรมขนาดใหญ่แบบกระจายเพื่อเรียกใช้เอกสารนับล้านผ่านการฝังเวกเตอร์ สำหรับคุณสมบัติทั้งหมด โปรดดู: Cloud vs Local

การพัฒนาท้องถิ่น

ติดตั้งแพ็คเกจ neumai :

pip install neumai

หากต้องการสร้างไปป์ไลน์ข้อมูลแรกของคุณ โปรดไปที่การเริ่มต้นอย่างรวดเร็วของเรา

ในระดับสูง ไปป์ไลน์ประกอบด้วยแหล่งข้อมูลหนึ่งหรือหลายแหล่งเพื่อดึงข้อมูล ตัวเชื่อมต่อแบบฝังหนึ่งตัวเพื่อสร้างเวกเตอร์เนื้อหา และตัวเชื่อมต่อซิงก์หนึ่งตัวเพื่อจัดเก็บเวกเตอร์ดังกล่าว ด้วยโค้ดขนาดสั้นนี้ เราจะประดิษฐ์สิ่งเหล่านี้ทั้งหมดและรันไปป์ไลน์:

การสร้างและใช้งานไปป์ไลน์

 from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  WebsiteConnector (
    url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
    selector = Selector (
        to_metadata = [ 'url' ]
    )
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = HTMLLoader (), 
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)
pipeline . run ()

results = pipeline . search (
    query = "What are the challenges with scaling RAG?" , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

การสร้างและใช้งานไปป์ไลน์ - ตัวเชื่อมต่อ Postgres

 from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline

website_connector =  PostgresConnector (
    connection_string = 'postgres' ,
    query = 'Select * from ...'
)
source = SourceConnector (
    data_connector = website_connector , 
    loader = JSONLoader (
        id_key = '<your id key of your jsons>' ,
        selector = Selector (
            to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
            to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
        )
    ),
    chunker = RecursiveChunker ()
)

openai_embed = OpenAIEmbed (
    api_key = "<OPEN AI KEY>" ,
)

weaviate_sink = WeaviateSink (
    url = "your-weaviate-url" ,
    api_key = "your-api-key" ,
    class_name = "your-class-name" ,
)

pipeline = Pipeline (
    sources = [ source ], 
    embed = openai_embed , 
    sink = weaviate_sink
)

pipeline . run ()

results = pipeline . search (
    query = "..." , 
    number_of_results = 3
)

for result in results :
    print ( result . metadata )

กำลังเผยแพร่ไปป์ไลน์ไปยัง Neum Cloud

 from neumai . Client . NeumClient import NeumClient
client = NeumClient (
    api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )