pachyderm

Pachyderm: automatice las transformaciones de datos con control de versiones y linaje de datos

Pachyderm es rentable a escala y permite a los equipos de ingeniería de datos automatizar procesos complejos con transformaciones de datos sofisticadas en cualquier tipo de datos. Nuestro enfoque único proporciona procesamiento en paralelo de canalizaciones de múltiples etapas independientes del idioma con control de versiones de datos y seguimiento del linaje de datos. Pachyderm ofrece el motor CI/CD definitivo para datos.

Características

• Las canalizaciones basadas en datos se activan automáticamente en función de la detección de cambios en los datos.
• Linaje de datos inmutable con control de versiones de datos de cualquier tipo de datos.
• Escalado automático y procesamiento paralelo construidos en Kubernetes para la orquestación de recursos.
• Utiliza almacenes de objetos estándar para el almacenamiento de datos con deduplicación automática.
• Se ejecuta en todos los principales proveedores de nube e instalaciones locales.

Empezando

Para comenzar a implementar sus canales de datos controlados por versión de un extremo a otro, ejecute Pachyderm localmente o también puede implementarlo en AWS/GCE/Azure en aproximadamente 5 minutos.

También puede consultar nuestra documentación completa para ver tutoriales, ver proyectos de ejemplo y conocer las funciones avanzadas de Pachyderm.

Si desea ver algunos ejemplos y conocer los principales casos de uso de Pachyderm:

• Ejemplos
• Casos de uso
• Estudios de caso

Documentación

Documentación oficial

Comunidad

Manténgase actualizado y obtenga soporte de Pachyderm a través de:

• Síguenos en Twitter.
• Únase a nuestra comunidad Slack Channel para obtener ayuda del equipo de Pachyderm y de otros usuarios.

Contribuyendo

Para comenzar, firme el Acuerdo de licencia de colaborador.

También deberías consultar nuestra guía de contribución.

Envíanos relaciones públicas, ¡nos encantaría ver lo que haces! También puede consultar nuestras ediciones de GH para ver las cosas etiquetadas como "se busca ayuda" como un buen lugar para comenzar. A veces somos malos al mantener esa etiqueta actualizada, así que si no ve ninguna, háganoslo saber.

Métricas de uso

Pachyderm informa automáticamente métricas de uso anónimas. Estas métricas nos ayudan a comprender cómo las personas usan Pachyderm y a mejorarlo. Se pueden deshabilitar configurando la variable de entorno METRICS en false en el contenedor pachd.