pathway

Python

v0.16.0

下载

开始使用 |部署|文档和支持 |博客 |执照

Pathway 实时数据框架

Pathway 是一个用于流处理、实时分析、LLM 管道和 RAG 的 Python ETL 框架。

Pathway 附带易于使用的 Python API ，允许您无缝集成您最喜欢的 Python ML 库。 Pathway 代码用途广泛且健壮：您可以在开发和生产环境中使用它，有效地处理批处理和流数据。相同的代码可用于本地开发、CI/CD 测试、运行批处理作业、处理流重播和处理数据流。

Pathway 由基于差分数据流的可扩展 Rust 引擎提供支持，并执行增量计算。尽管您的 Pathway 代码是用 Python 编写的，但它由 Rust 引擎运行，支持多线程、多处理和分布式计算。所有管道都保存在内存中，可以使用Docker 和 Kubernetes轻松部署。

您可以使用 pip 安装 Pathway：

 pip install -U pathway

如有任何问题，您可以在 Discord 上找到该项目背后的社区和团队。

用例和模板

准备好看看 Pathway 能做什么了吗？

尝试我们易于运行的示例之一！

这些可立即启动的示例以笔记本和 Docker 格式提供，只需单击几下即可启动。选择一个，立即开始您的 Pathway 实践体验！

事件处理和实时分析管道

凭借其统一的批处理和流处理引擎以及完整的 Python 兼容性，Pathway 使数据处理变得尽可能简单。它是各种数据处理管道的理想解决方案，包括：

展示：实时 ETL。
展示：带有警报的事件驱动管道。
展示：实时分析。
文档：从批处理切换到流式处理。

人工智能管道

Pathway 提供专用的 LLM 工具来构建实时 LLM 和 RAG 管道。其中包括最常见的 LLM 服务和实用程序的包装器，使得使用 LLM 和 RAG 管道变得异常简单。查看我们的 LLM xpack 文档。

请毫不犹豫地尝试我们具有 LLM 工具的可运行示例之一。您可以在这里找到此类示例。

模板：将非结构化数据即时传输到 SQL。
模板：带有 Ollama 和 Mistral AI 的私人 RAG
模板：自适应 RAG
模板：带有 gpt-4o 的多模式 RAG

特征

广泛的连接器：Pathway 附带连接到外部数据源（例如 Kafka、GDrive、PostgreSQL 或 SharePoint）的连接器。其 Airbyte 连接器允许您连接到 300 多个不同的数据源。如果您想要的连接器不可用，您可以使用 Pathway Python 连接器构建您自己的自定义连接器。
无状态和有状态转换：Pathway 支持有状态转换，例如连接、窗口和排序。它提供了许多直接在 Rust 中实现的转换。除了提供的转换之外，您还可以使用任何 Python 函数。您可以实现自己的，也可以使用任何 Python 库来处理您的数据。
持久性：Pathway 提供持久性来保存计算状态。这允许您在更新或崩溃后重新启动管道。 Pathway 可以很好地管理您的管道！
一致性：Pathway 为您处理时间，确保您的所有计算都是一致的。特别是，每当新的（或在本例中为较晚的）数据点进入系统时，Pathway 都会通过更新其结果来管理迟到和无序的点。 Pathway的免费版本提供“至少一次”一致性，而企业版提供“恰好一次”一致性。
可扩展的 Rust 引擎：使用 Pathway Rust 引擎，您可以摆脱 Python 施加的通常限制。您可以轻松地进行多线程、多处理和分布式计算。
LLM 助手：Pathway 提供了 LLM 扩展以及所有实用程序，用于将 LLM 与数据管道集成（LLM 包装器、解析器、嵌入器、拆分器），包括内存中实时向量索引以及与 LLamaIndex 和 LangChain 的集成。您可以使用实时文档快速构建和部署 RAG 应用程序。

入门

安装

Pathway 需要 Python 3.10 或更高版本。

您可以使用pip安装当前版本的 Pathway：

 $ pip install -U pathway

️ Pathway 可在 MacOS 和 Linux 上使用。其他系统的用户应在虚拟机上运行 Pathway。

示例：实时计算正值之和。

=0) result_table = filtered_table.reduce( sum_value = pw.reducers.sum(filtered_table.value) ) # Load your results to external systems pw.io.jsonlines.write(result_table, "output.jsonl") # Run the computation pw.run()">

 import pathway as pw

# Define the schema of your data (Optional)
class InputSchema ( pw . Schema ):
  value : int

# Connect to your data using connectors
input_table = pw . io . csv . read (
  "./input/" ,
  schema = InputSchema
)

#Define your operations on the data
filtered_table = input_table . filter ( input_table . value >= 0 )
result_table = filtered_table . reduce (
  sum_value = pw . reducers . sum ( filtered_table . value )
)

# Load your results to external systems
pw . io . jsonlines . write ( result_table , "output.jsonl" )

# Run the computation
pw . run ()

在 Google Colab 中运行 Pathway。

您可以在这里找到更多示例。

部署

本地

要使用Pathway，你只需要导入它：

 import pathway as pw

现在，您可以轻松创建处理管道，并让 Pathway 处理更新。创建管道后，您可以使用一行命令启动流数据的计算：

 pw . run ()

然后，您可以像普通 Python 脚本一样运行 Pathway 项目（例如main.py ）： $ python main.py 。 Pathway 附带一个监控仪表板，可让您跟踪每个连接器发送的消息数量以及系统的延迟。仪表板还包括日志消息。

或者，您可以使用路径版本：

 $ pathway spawn python main.py

Pathway 本身支持多线程。要使用 3 个线程启动应用程序，您可以执行以下操作：

 $ pathway spawn --threads 3 python main.py

要快速启动 Pathway 项目，您可以使用我们的 cookiecutter 模板。

码头工人

您可以使用 docker 轻松运行 Pathway。

通路图像

您可以通过 Dockerfile 使用 Pathway docker 映像：

 FROM pathwaycom/pathway:latest

WORKDIR /app

COPY requirements.txt ./
RUN pip install --no-cache-dir -r requirements.txt

COPY . .

CMD [ "python" , "./your-script.py" ]

然后您可以构建并运行 Docker 映像：

 docker build -t my-pathway-app .
docker run -it --rm --name my-pathway-app my-pathway-app

运行单个 Python 脚本

在处理单文件项目时，创建完整的Dockerfile似乎没有必要。在这种情况下，您可以使用 Pathway Docker 镜像直接执行 Python 脚本。例如：

 docker run -it --rm --name my-pathway-app -v "$PWD":/app pathwaycom/pathway:latest python my-pathway-app.py

Python docker 镜像

您还可以使用标准 Python 映像并使用 pip 和 Dockerfile 安装 Pathway：

 FROM --platform=linux/x86_64 python:3.10

RUN pip install -U pathway
COPY ./pathway-script.py pathway-script.py

CMD [ "python" , "-u" , "pathway-script.py" ]

Kubernetes 和云

Docker 容器非常适合使用 Kubernetes 在云上部署。如果您想扩展您的 Pathway 应用程序，您可能对我们的 Pathway for Enterprise 感兴趣。 Pathway for Enterprise 专为端到端数据处理和实时智能分析而定制。它使用云上的分布式计算进行扩展，并支持分布式 Kubernetes 部署以及外部持久性设置。

您可以使用 Render 等服务轻松部署 Pathway：了解如何只需单击几下即可部署 Pathway。

如果您有兴趣，请随时联系我们以了解更多信息。