pachyderm

Pachyderm – Automatisez les transformations de données avec la gestion des versions et le lignage des données

Pachyderm est rentable à grande échelle, permettant aux équipes d'ingénierie de données d'automatiser des pipelines complexes avec des transformations de données sophistiquées sur tout type de données. Notre approche unique permet un traitement parallélisé de pipelines multi-étapes indépendants du langage, avec gestion des versions et suivi du lignage des données. Pachyderm fournit le moteur CI/CD ultime pour les données.

Caractéristiques

• Les pipelines basés sur les données se déclenchent automatiquement en fonction de la détection des modifications des données.
• Lignage de données immuable avec gestion des versions de tout type de données.
• Mise à l'échelle automatique et traitement parallèle basés sur Kubernetes pour l'orchestration des ressources.
• Utilise des magasins d'objets standard pour le stockage des données avec déduplication automatique.
• Fonctionne sur tous les principaux fournisseurs de cloud et installations sur site.

Commencer

Pour commencer à déployer vos pipelines de données contrôlés par version de bout en bout, exécutez Pachyderm localement ou vous pouvez également déployer sur AWS/GCE/Azure en 5 minutes environ.

Vous pouvez également vous référer à notre documentation complète pour voir des didacticiels, consulter des exemples de projets et en savoir plus sur les fonctionnalités avancées de Pachyderm.

Si vous souhaitez voir quelques exemples et en savoir plus sur les principaux cas d'utilisation de Pachyderm :

• Exemples
• Cas d'utilisation
• Études de cas

Documentation

Documentation officielle

Communauté

Restez informé et bénéficiez de l'assistance Pachyderm via :

• Suivez-nous sur Twitter.
• Rejoignez notre communauté Slack Channel pour obtenir de l'aide de l'équipe Pachyderm et d'autres utilisateurs.

Contribuer

Pour commencer, signez le contrat de licence de contributeur.

Vous devriez également consulter notre guide de contribution.

Envoyez-nous des PR, nous serions ravis de voir ce que vous faites ! Vous pouvez également consulter nos problèmes GH pour les éléments étiquetés « aide recherchée » comme un bon point de départ. Nous avons parfois du mal à maintenir cette étiquette à jour, alors si vous n'en voyez pas, faites-le nous savoir.

Métriques d'utilisation

Pachyderm rapporte automatiquement les mesures d'utilisation anonymisées. Ces mesures nous aident à comprendre comment les gens utilisent Pachyderm et à l'améliorer. Ils peuvent être désactivés en définissant la variable d'environnement METRICS sur false dans le conteneur pachd.