pachyderm

Pachyderm – 透過資料版本控制和沿襲自動化資料轉換

Pachyderm 在規模上具有成本效益，使資料工程團隊能夠透過跨任何類型資料的複雜資料轉換來自動化複雜的管道。我們獨特的方法透過資料版本控制和資料沿襲追蹤提供多階段、與語言無關的管道的並行處理。 Pachyderm 提供終極的 CI/CD 資料引擎。

特徵

• 數據驅動的管道根據檢測數據變化自動觸發。
• 具有任何資料類型的資料版本控制的不可變資料沿襲。
• 基於 Kubernetes 建置的自動縮放和並行處理，用於資源編排。
• 使用標準物件儲存進行資料存儲，並具有自動重複資料刪除功能。
• 在所有主要雲端提供者和本地安裝上運行。

入門

若要開始部署端對端版本控制的資料管道，請在本機上執行 Pachyderm，或者您也可以在大約 5 分鐘內部署在 AWS/GCE/Azure 上。

您也可以參考我們的完整文件來查看教學課程、查看範例項目並了解 Pachyderm 的高級功能。

如果您想查看一些範例並了解 Pachyderm 的核心用例：

• 範例
• 使用案例
• 案例研究

文件

官方文檔

社群

透過以下方式了解最新動態並獲得 Pachyderm 支援：

• 在 Twitter 上關注我們。
• 加入我們的社群 Slack 頻道，從 Pachyderm 團隊和其他用戶那裡獲得幫助。

貢獻

首先，請簽署貢獻者許可協議。

您還應該查看我們的貢獻指南。

向我們發送 PR，我們很想看看您做了什麼！您也可以查看我們的 GH 問題，了解標記為「需要幫助」的內容，這是一個不錯的起點。有時我們無法及時更新該標籤，因此如果您沒有看到任何標籤，請告訴我們。

使用指標

Pachyderm 自動回報匿名使用指標。這些指標幫助我們了解人們如何使用 Pachyderm 並使其變得更好。可以透過在 pachd 容器中將環境變數METRICS設為false來停用它們。