llm app下载 - llm app源码下载

llm app

Ai源码

1.0.0

下载

途径 AI 管道

Pathway 的AI Pipelines允许您快速投入生产 AI 应用程序，这些应用程序使用数据源中可用的最新知识，提供大规模的高精度 RAG 和 AI 企业搜索。它为您提供可立即部署的LLM（大型语言模型）应用程序模板。您可以在自己的计算机上测试它们并在云（GCP、AWS、Azure、Render...）或本地部署。

这些应用程序与文件系统、Google Drive、Sharepoint、S3、Kafka、PostgreSQL、实时数据 API上的数据源连接并同步（所有新数据添加、删除、更新）。它们不依赖于需要单独设置的基础设施。它们包括内置数据索引，支持矢量搜索、混合搜索和全文搜索 - 全部在内存中通过缓存完成。

申请模板

该存储库中提供的应用程序模板可扩展到数百万页文档。其中一些是为了简单性而优化的，一些是为了惊人的准确性而优化的。选择最适合您的一款。您可以开箱即用地使用它，或者更改管道的某些步骤 - 例如，如果您想添加新的数据源，或者将矢量索引更改为混合索引，这只是一行更改。

申请表（模板）	描述
`Question-Answering RAG App`	基本的端到端 RAG 应用程序。问答管道，使用所选的 GPT 模型为实时连接的数据源（文件、Google Drive、Sharepoint 等）上的文档（PDF、DOCX 等）查询提供答案。您还可以尝试演示 REST 端点。
`Live Document Indexing (Vector Store / Retriever)`	RAG 的实时文档索引管道，充当矢量存储服务。它从连接的数据源（文件、Google Drive、Sharepoint...）对文档（PDF、DOCX...）执行实时索引。它可以与任何前端一起使用，或者集成为 Langchain 或 Llamaindex 应用程序的检索器后端。您还可以尝试演示 REST 端点。
`Multimodal RAG pipeline with GPT4o`	多模式 RAG 在解析阶段使用 GPT-4o 从连接的数据源文件（Google Drive、Sharepoint...）中索引 PDF 和其他文档。它非常适合从文件夹中的非结构化财务文档（包括图表和表格）中提取信息，并在文档更改或新文档到达时更新结果。
`Unstructured-to-SQL pipeline + SQL question-answering`	一个 RAG 示例，它连接到非结构化财务数据源（财务报告 PDF），将数据结构化为 SQL，并将其加载到 PostgreSQL 表中。它还使用 LLM 将自然语言用户对这些财务文档的查询转换为 SQL 并在 PostgreSQL 表上执行查询，从而回答用户对这些财务文档的查询。
`Adaptive RAG App`	使用自适应 RAG 的 RAG 应用程序，自适应 RAG 是 Pathway 开发的一种技术，可在保持准确性的同时将 RAG 中的令牌成本降低多达 4 倍。
`Private RAG App with Mistral and Ollama`	使用 Pathway、Mistral 和 Ollama `demo-question-answering` RAG 管道的完全私有（本地）版本。
`Slides AI Search App`	用于检索幻灯片的索引管道。它执行 PowerPoint 和 PDF 的多模式并维护幻灯片的实时索引。”

这些人工智能管道如何运作？

这些应用程序可以作为Docker 容器运行，并公开HTTP API来连接前端。为了允许快速测试和演示，一些应用程序模板还包括连接到此 API 的可选 Streamlit UI。

这些应用程序依赖 Pathway Live Data 框架来进行数据源同步和处理 API 请求（Pathway 是一个独立的 Python 库，内置了 Rust 引擎）。它们为您带来了后端、嵌入、检索、LLM 技术堆栈的简单且统一的应用程序逻辑。无需为您的 Gen AI 应用程序集成和维护单独的模块：~~矢量数据库（例如Pinecone/Weaviate/Qdrant）+缓存（例如Redis）+API框架（例如Fast API）~~ 。 Pathway 默认选择的内置向量索引基于闪电般快速的 uarch 库，而混合全文索引则利用 Tantivy 库。一切都开箱即用。