pachyderm

Pachyderm – データのバージョン管理とリネージによるデータ変換の自動化

Pachyderm は大規模な場合でもコスト効率が高く、データ エンジニアリング チームがあらゆる種類のデータにわたる高度なデータ変換を使用して複雑なパイプラインを自動化できるようにします。当社の独自のアプローチは、データのバージョン管理とデータリネージの追跡を備えた、言語に依存しないマルチステージのパイプラインの並列処理を提供します。 Pachyderm は、データ用の究極の CI/CD エンジンを提供します。

特徴

• データドリブン パイプラインは、データ変更の検出に基づいて自動的にトリガーされます。
• あらゆるデータ型のデータバージョン管理を備えた不変のデータリネージュ。
• リソース オーケストレーションのために Kubernetes 上に構築された自動スケーリングと並列処理。
• 自動重複排除機能を備えたデータ ストレージとして標準のオブジェクト ストアを使用します。
• すべての主要なクラウド プロバイダーおよびオンプレミスのインストール環境で実行されます。

はじめる

エンドツーエンドのバージョン管理されたデータ パイプラインのデプロイを開始するには、Pachyderm をローカルで実行するか、約 5 分で AWS/GCE/Azure にデプロイすることもできます。

また、完全なドキュメントを参照してチュートリアルを参照し、サンプル プロジェクトを確認し、Pachyderm の高度な機能について学ぶこともできます。

いくつかの例を見て、Pachyderm の主要な使用例について学びたい場合:

• 例
• 使用例
• ケーススタディ

ドキュメント

公式ドキュメント

コミュニティ

最新情報を入手し、次の方法で Pachyderm のサポートを受けてください。

• Twitter でフォローしてください。
• コミュニティ Slack チャンネルに参加して、Pachyderm チームや他のユーザーからの支援を得てください。

貢献する

開始するには、寄稿者ライセンス契約に署名してください。

貢献ガイドもぜひご覧ください。

PR をお送りください。ぜひご活躍をお待ちしております。開始するのに適した場所として、「ヘルプが必要」とラベル付けされた項目について GH の問題を確認することもできます。ラベルを最新の状態に保つことができない場合もありますので、ラベルが表示されない場合はお知らせください。

使用状況メトリクス

Pachyderm は、匿名化された使用状況メトリクスを自動的に報告します。これらの指標は、人々が Pachyderm をどのように使用しているかを理解し、それを改善するのに役立ちます。これらは、pachd コンテナーで環境変数METRICS falseに設定することで無効にできます。