pachyderm

Pachyderm – 通过数据版本控制和沿袭自动化数据转换

Pachyderm 在规模上具有成本效益，使数据工程团队能够通过跨任何类型数据的复杂数据转换来自动化复杂的管道。我们独特的方法通过数据版本控制和数据沿袭跟踪提供多阶段、与语言无关的管道的并行处理。 Pachyderm 提供终极的 CI/CD 数据引擎。

特征

• 数据驱动的管道根据检测数据变化自动触发。
• 具有任何数据类型的数据版本控制的不可变数据沿袭。
• 基于 Kubernetes 构建的自动缩放和并行处理，用于资源编排。
• 使用标准对象存储进行数据存储，并具有自动重复数据删除功能。
• 在所有主要云提供商和本地安装上运行。

入门

要开始部署端到端版本控制的数据管道，请在本地运行 Pachyderm，或者您也可以在大约 5 分钟内部署在 AWS/GCE/Azure 上。

您还可以参考我们的完整文档来查看教程、查看示例项目并了解 Pachyderm 的高级功能。

如果您想查看一些示例并了解 Pachyderm 的核心用例：

• 示例
• 使用案例
• 案例研究

文档

官方文档

社区

通过以下方式了解最新动态并获得 Pachyderm 支持：

• 在 Twitter 上关注我们。
• 加入我们的社区 Slack 频道，从 Pachyderm 团队和其他用户那里获得帮助。

贡献

首先，请签署贡献者许可协议。

您还应该查看我们的贡献指南。

向我们发送 PR，我们很想看看您做了什么！您还可以查看我们的 GH 问题，了解标记为“需要帮助”的内容，这是一个不错的起点。有时我们无法及时更新该标签，因此如果您没有看到任何标签，请告诉我们。

使用指标

Pachyderm 自动报告匿名使用指标。这些指标帮助我们了解人们如何使用 Pachyderm 并使其变得更好。可以通过在 pachd 容器中将环境变量METRICS设置为false来禁用它们。