pachyderm

Pachyderm – Mengotomatiskan transformasi data dengan pembuatan versi data dan garis keturunan

Pachyderm hemat biaya dalam skala besar, memungkinkan tim rekayasa data mengotomatiskan pipeline kompleks dengan transformasi data canggih di semua jenis data. Pendekatan unik kami menyediakan pemrosesan paralel dari pipeline multi-tahap dan agnostik bahasa dengan pembuatan versi data dan pelacakan silsilah data. Pachyderm menghadirkan mesin CI/CD terbaik untuk data.

Fitur

• Pipeline berbasis data terpicu secara otomatis berdasarkan deteksi perubahan data.
• Silsilah data yang tidak dapat diubah dengan pembuatan versi data jenis data apa pun.
• Penskalaan otomatis dan pemrosesan paralel yang dibangun di Kubernetes untuk orkestrasi sumber daya.
• Menggunakan penyimpanan objek standar untuk penyimpanan data dengan deduplikasi otomatis.
• Berjalan di semua penyedia cloud utama dan instalasi lokal.

Memulai

Untuk mulai menerapkan pipeline data yang dikontrol versi end-to-end, jalankan Pachyderm secara lokal atau Anda juga dapat menerapkan di AWS/GCE/Azure dalam waktu sekitar 5 menit.

Anda juga dapat merujuk ke dokumentasi lengkap kami untuk melihat tutorial, melihat contoh proyek, dan mempelajari tentang fitur-fitur canggih Pachyderm.

Jika Anda ingin melihat beberapa contoh dan mempelajari kasus penggunaan inti untuk Pachyderm:

• Contoh
• Kasus Penggunaan
• Studi Kasus

Dokumentasi

Dokumentasi Resmi

Masyarakat

Ikuti perkembangan terkini dan dapatkan dukungan Pachyderm melalui:

• Ikuti kami di Twitter.
• Bergabunglah dengan komunitas kami Slack Channel untuk mendapatkan bantuan dari tim Pachyderm dan pengguna lainnya.

Berkontribusi

Untuk memulai, tandatangani Perjanjian Lisensi Kontributor.

Anda juga harus membaca panduan kontribusi kami.

Kirimkan PR kepada kami, kami ingin melihat apa yang Anda lakukan! Anda juga dapat memeriksa masalah GH kami untuk hal-hal yang berlabel "dibutuhkan bantuan" sebagai awal yang baik. Terkadang kami tidak pandai dalam memperbarui label tersebut, jadi jika Anda tidak melihatnya, beri tahu kami.

Metrik Penggunaan

Pachyderm secara otomatis melaporkan metrik penggunaan yang dianonimkan. Metrik ini membantu kami memahami bagaimana orang menggunakan Pachyderm dan menjadikannya lebih baik. Mereka dapat dinonaktifkan dengan mengatur variabel env METRICS ke false di wadah pachd.