llm appのダウンロード - llm appソースコードのダウンロード

llm app

AI ソースコード

1.0.0

ダウンロード

Pathway AI パイプライン

Pathway のAI パイプラインを使用すると、データソースで利用可能な最新の知識を使用して、大規模な高精度の RAG および AI エンタープライズ検索を提供する AI アプリケーションを実稼働環境に迅速に導入できます。すぐに展開できるLLM (Large Language Model) アプリテンプレートを提供します。独自のマシンでテストし、クラウド (GCP、AWS、Azure、Render など) またはオンプレミスにデプロイできます。

アプリは、ファイルシステム、Google Drive、Sharepoint、S3、Kafka、PostgreSQL、リアルタイムデータ API上のデータソースに接続して同期します (すべての新しいデータの追加、削除、更新)。個別のセットアップを必要とするインフラストラクチャの依存関係はありません。これらには、ベクター検索、ハイブリッド検索、全文検索を可能にする組み込みのデータインデックスが含まれており、すべてキャッシュを使用してメモリ内で実行されます。

アプリケーションテンプレート

このリポジトリで提供されるアプリケーションテンプレートは、数百万ページのドキュメントにまで拡張できます。簡素化のために最適化されたものもあれば、驚くべき精度のために最適化されたものもあります。最適なものをお選びください。そのまま使用することも、パイプラインの一部のステップを変更することもできます。たとえば、新しいデータソースを追加する場合、またはベクターインデックスをハイブリッドインデックスに変更する場合は、1 行の変更だけで済みます。

申請書（テンプレート）	説明
`Question-Answering RAG App`	基本的なエンドツーエンドの RAG アプリ。選択した GPT モデルを使用して、ライブ接続されたデータソース (ファイル、Google ドライブ、Sharepoint など) 上のドキュメント (PDF、DOCX など) に対するクエリに対する回答を提供する質問応答パイプライン。デモの REST エンドポイントを試すこともできます。
`Live Document Indexing (Vector Store / Retriever)`	ベクターストアサービスとして機能する、RAG 用のリアルタイムドキュメントインデックス作成パイプライン。接続されたデータソース (ファイル、Google ドライブ、Sharepoint など) からドキュメント (PDF、DOCX など) に対してライブインデックス作成を実行します。任意のフロントエンドで使用したり、Langchain または Llamaindex アプリケーションの取得バックエンドとして統合したりできます。デモの REST エンドポイントを試すこともできます。
`Multimodal RAG pipeline with GPT4o`	解析段階で GPT-4o を使用し、接続されたデータソースファイル、Google ドライブ、Sharepoint などから PDF やその他のドキュメントにインデックスを付けるマルチモーダル RAG。フォルダー内の非構造化財務文書 (グラフや表を含む) から情報を抽出し、文書の変更や新しい文書の到着に応じて結果を更新するのに最適です。
`Unstructured-to-SQL pipeline + SQL question-answering`	非構造化財務データソース (財務レポート PDF) に接続し、データを SQL に構造化し、PostgreSQL テーブルにロードする RAG の例。また、LLM を使用してクエリを SQL に変換し、PostgreSQL テーブルでクエリを実行することで、これらの財務文書に対する自然言語のユーザークエリに応答します。
`Adaptive RAG App`	Adaptive RAG を使用した RAG アプリケーション。これは、精度を維持しながら RAG のトークンコストを最大 4 倍削減するために Pathway によって開発された技術です。
`Private RAG App with Mistral and Ollama`	Pathway、Mistral、Ollama を使用した`demo-question-answering` RAG パイプラインの完全プライベート (ローカル) バージョン。
`Slides AI Search App`	スライドを取得するためのインデックス作成パイプライン。 PowerPoint と PDF のマルチモーダルを実行し、スライドのライブインデックスを維持します。」

これらの AI パイプラインはどのように機能するのでしょうか?

アプリはDocker コンテナとして実行でき、フロントエンドに接続するためのHTTP API を公開します。迅速なテストとデモを可能にするために、一部のアプリテンプレートには、この API に接続するオプションの Streamlit UI も含まれています。

アプリは、データソースの同期と API リクエストの処理を Pathway Live Data フレームワークに依存しています (Pathway は、Rust エンジンが組み込まれたスタンドアロンの Python ライブラリです)。これらは、バックエンド、埋め込み、取得、LLM 技術スタックのためのシンプルで統合されたアプリケーションロジックを提供します。 Gen AI アプリ用に別のモジュールを統合して維持する必要はありません。 ~~Vector Database (例: Pinecone/Weaviate/Qdrant) + キャッシュ (例: Redis) + API フレームワーク (例: Fast API)~~ 。 Pathway のデフォルトの組み込みベクトルインデックスの選択は、超高速の usearch ライブラリに基づいており、ハイブリッドフルテキストインデックスはTantivy ライブラリを利用します。すべてがすぐに使えます。