pachyderm

Pachyderm – Automatisieren Sie Datentransformationen mit Datenversionierung und -herkunft

Pachyderm ist im großen Maßstab kosteneffektiv und ermöglicht es Datenentwicklungsteams, komplexe Pipelines mit anspruchsvollen Datentransformationen für alle Arten von Daten zu automatisieren. Unser einzigartiger Ansatz ermöglicht die parallelisierte Verarbeitung mehrstufiger, sprachunabhängiger Pipelines mit Datenversionierung und Datenherkunftsverfolgung. Pachyderm liefert die ultimative CI/CD-Engine für Daten.

Merkmale

• Datengesteuerte Pipelines werden automatisch ausgelöst, wenn Datenänderungen erkannt werden.
• Unveränderliche Datenherkunft mit Datenversionierung jedes Datentyps.
• Auf Kubernetes basierende automatische Skalierung und Parallelverarbeitung zur Ressourcenorchestrierung.
• Verwendet Standardobjektspeicher zur Datenspeicherung mit automatischer Deduplizierung.
• Läuft bei allen großen Cloud-Anbietern und lokalen Installationen.

Erste Schritte

Um mit der Bereitstellung Ihrer durchgängigen versionierten Datenpipelines zu beginnen, führen Sie Pachyderm lokal aus oder Sie können die Bereitstellung auch auf AWS/GCE/Azure in etwa 5 Minuten durchführen.

Sie können sich auch unsere vollständige Dokumentation ansehen, um Tutorials anzusehen, Beispielprojekte auszuprobieren und mehr über die erweiterten Funktionen von Pachyderm zu erfahren.

Wenn Sie einige Beispiele sehen und mehr über die wichtigsten Anwendungsfälle von Pachyderm erfahren möchten:

• Beispiele
• Anwendungsfälle
• Fallstudien

Dokumentation

Offizielle Dokumentation

Gemeinschaft

Bleiben Sie auf dem Laufenden und erhalten Sie Pachyderm-Support über:

• Folgen Sie uns auf Twitter.
• Treten Sie unserem Community-Slack-Kanal bei, um Hilfe vom Pachyderm-Team und anderen Benutzern zu erhalten.

Mitwirken

Unterzeichnen Sie zunächst die Lizenzvereinbarung für Mitwirkende.

Sie sollten sich auch unseren Beitragsleitfaden ansehen.

Schicken Sie uns PRs, wir würden gerne sehen, was Sie tun! Sie können auch in unseren GH-Themen nach Dingen suchen, die als „Hilfe gesucht“ gekennzeichnet sind, da dies ein guter Ausgangspunkt ist. Wir sind manchmal nicht in der Lage, dieses Etikett auf dem neuesten Stand zu halten. Wenn Sie also keins sehen, lassen Sie es uns einfach wissen.

Nutzungsmetriken

Pachyderm meldet automatisch anonymisierte Nutzungsmetriken. Diese Kennzahlen helfen uns zu verstehen, wie Menschen Pachyderm verwenden, und es besser zu machen. Sie können deaktiviert werden, indem Sie die Umgebungsvariable METRICS im Pachd-Container auf false setzen.