NeumAI
neumai 0.0.40
ホームページ |ドキュメント |ブログ |不和 |ツイッター
Neum AI は、開発者がデータを活用して検索拡張生成 (RAG) を通じて大規模言語モデルをコンテキスト化するのに役立つデータ プラットフォームです。これには、ドキュメント ストレージや NoSQL などの既存のデータ ソースからのデータの抽出、コンテンツのベクトル埋め込みへの処理、ベクトル埋め込みの取り込みが含まれます。類似性検索のためのベクトルデータベース。
これは、アプリケーションに合わせて拡張でき、データ コネクタ、埋め込みモデル、ベクトル データベースなどのサービスの統合にかかる時間を削減できる、RAG 用の包括的なソリューションを提供します。
電子メール ([email protected])、Discord、または電話のスケジュールを設定することで、私たちのチームに連絡することができます。
今すぐ、dashboard.neum.ai にサインアップしてください。開始するには、クイックスタートを参照してください。
Neum AI Cloud は、ベクトル埋め込みを通じて数百万のドキュメントを実行する大規模な分散アーキテクチャをサポートしています。完全な機能セットについては、「クラウドとローカル」を参照してください。
neumaiパッケージをインストールします。
pip install neumai最初のデータ パイプラインを作成するには、クイックスタートにアクセスしてください。
大まかに言うと、パイプラインは、データを取得する 1 つまたは複数のソース、コンテンツをベクトル化する 1 つの埋め込みコネクタ、およびそのベクトルを保存する 1 つのシンク コネクタで構成されます。このコード スニペットを使用して、これらすべてを作成し、パイプラインを実行します。
from neumai . DataConnectors . WebsiteConnector import WebsiteConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . HTMLLoader import HTMLLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = WebsiteConnector (
url = "https://www.neum.ai/post/retrieval-augmented-generation-at-scale" ,
selector = Selector (
to_metadata = [ 'url' ]
)
)
source = SourceConnector (
data_connector = website_connector ,
loader = HTMLLoader (),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "What are the challenges with scaling RAG?" ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . DataConnectors . PostgresConnector import PostgresConnector
from neumai . Shared . Selector import Selector
from neumai . Loaders . JSONLoader import JSONLoader
from neumai . Chunkers . RecursiveChunker import RecursiveChunker
from neumai . Sources . SourceConnector import SourceConnector
from neumai . EmbedConnectors import OpenAIEmbed
from neumai . SinkConnectors import WeaviateSink
from neumai . Pipelines import Pipeline
website_connector = PostgresConnector (
connection_string = 'postgres' ,
query = 'Select * from ...'
)
source = SourceConnector (
data_connector = website_connector ,
loader = JSONLoader (
id_key = '<your id key of your jsons>' ,
selector = Selector (
to_embed = [ 'property1_to_embed' , 'property2_to_embed' ],
to_metadata = [ 'property3_to_include_in_metadata_in_vector' ]
)
),
chunker = RecursiveChunker ()
)
openai_embed = OpenAIEmbed (
api_key = "<OPEN AI KEY>" ,
)
weaviate_sink = WeaviateSink (
url = "your-weaviate-url" ,
api_key = "your-api-key" ,
class_name = "your-class-name" ,
)
pipeline = Pipeline (
sources = [ source ],
embed = openai_embed ,
sink = weaviate_sink
)
pipeline . run ()
results = pipeline . search (
query = "..." ,
number_of_results = 3
)
for result in results :
print ( result . metadata ) from neumai . Client . NeumClient import NeumClient
client = NeumClient (
api_key = '<your neum api key, get it from https://dashboard.neum.ai' ,
)
client . create_pipeline ( pipeline = pipeline )Neum AI を独自のクラウドに導入することに興味がある場合は、[email protected] までお問い合わせください。
GitHub で公開されているサンプル バックエンド アーキテクチャがあり、開始点として使用できます。
最新のリストについては、ドキュメントをご覧ください。
私たちのロードマップは要望とともに進化しています。不足しているものがあれば、お気軽に問題を報告するか、メッセージをお送りください。
コネクタ
検索
拡張性
実験的
Neum AI の追加ツールは次の場所にあります。
