NeumAI
neumai 0.0.40
홈페이지 | 문서 | 블로그 | 불화 | 지저귀다
Neum AI는 개발자가 RAG(Retrieval Augmented Generation)를 통해 데이터를 활용하여 대규모 언어 모델을 맥락화할 수 있도록 지원하는 데이터 플랫폼입니다. 여기에는 문서 저장소 및 NoSQL과 같은 기존 데이터 소스에서 데이터를 추출하고, 콘텐츠를 벡터 임베딩으로 처리하고, 벡터 임베딩을 유사성 검색을 위한 벡터 데이터베이스.
이는 애플리케이션에 따라 확장할 수 있고 데이터 커넥터, 임베딩 모델 및 벡터 데이터베이스와 같은 서비스를 통합하는 데 소요되는 시간을 줄일 수 있는 RAG용 포괄적인 솔루션을 제공합니다.
이메일([email protected]), 디스코드 또는 통화 일정을 통해 우리 팀에 연락하실 수 있습니다.
지금 Dashboard.neum.ai에서 가입하세요. 시작하려면 빠른 시작을 참조하세요.
Neum AI Cloud는 벡터 임베딩을 통해 수백만 개의 문서를 실행할 수 있는 대규모 분산 아키텍처를 지원합니다. 전체 기능 세트를 보려면 다음을 참조하세요. 클라우드 vs 로컬
neumai 패키지를 설치합니다:
pip install neumai첫 번째 데이터 파이프라인을 만들려면 빠른 시작을 방문하세요.
상위 수준에서 파이프라인은 데이터를 가져오는 하나 이상의 소스, 콘텐츠를 벡터화하는 하나의 포함 커넥터, 해당 벡터를 저장하는 하나의 싱크 커넥터로 구성됩니다. 이 코드 조각을 사용하여 이러한 모든 항목을 만들고 파이프라인을 실행합니다.
from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = WebsiteConnector (
url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
selector = Selector (
to_metadata = [ 'url' ]
)
)
source = SourceConnector (
data_connector = website_connector ,
loader = HTMLLoader (),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "What are the challenges with scaling RAG?" ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = PostgresConnector (
connection_string = 'postgres' ,
query = 'Select * from ...'
)
source = SourceConnector (
data_connector = website_connector ,
loader = JSONLoader (
id_key = '<your id key of your jsons>' ,
selector = Selector (
to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
)
),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "..." ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . Client . NeumClient import NeumClient
client = NeumClient (
api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )Neum AI를 자신의 클라우드에 배포하는 데 관심이 있다면[email protected]으로 문의하세요.
출발점으로 사용할 수 있는 샘플 백엔드 아키텍처가 GitHub에 게시되어 있습니다.
최신 목록을 보려면 당사 문서를 방문하세요.
우리의 로드맵은 질문을 통해 발전하고 있으므로 누락된 내용이 있으면 언제든지 문제를 공개하거나 메시지를 보내주세요.
커넥터
찾다
확장성
실험적
Neum AI에 대한 추가 도구는 여기에서 찾을 수 있습니다.
