pachyderm

후피 – 데이터 버전 관리 및 계보를 통해 데이터 변환 자동화

Pachyderm은 규모 면에서 비용 효율적이므로 데이터 엔지니어링 팀이 모든 유형의 데이터에 걸쳐 정교한 데이터 변환을 통해 복잡한 파이프라인을 자동화할 수 있습니다. 우리의 고유한 접근 방식은 데이터 버전 관리 및 데이터 계보 추적을 통해 다단계, 언어에 구애받지 않는 파이프라인의 병렬 처리를 제공합니다. Pachyderm은 데이터를 위한 최고의 CI/CD 엔진을 제공합니다.

특징

• 데이터 기반 파이프라인은 데이터 변경 감지를 기반으로 자동으로 트리거됩니다.
• 모든 데이터 유형의 데이터 버전 관리를 통한 불변의 데이터 계보.
• 리소스 조정을 위해 Kubernetes를 기반으로 구축된 자동 크기 조정 및 병렬 처리.
• 자동 중복 제거 기능을 갖춘 데이터 저장을 위해 표준 개체 저장소를 사용합니다.
• 모든 주요 클라우드 제공업체 및 온프레미스 설치에서 실행됩니다.

시작하기

엔드 투 엔드 버전 제어 데이터 파이프라인 배포를 시작하려면 Pachyderm을 로컬로 실행하거나 약 5분 안에 AWS/GCE/Azure에 배포할 수도 있습니다.

또한 전체 문서를 참조하여 튜토리얼을 보고, 예제 프로젝트를 확인하고, Pachyderm의 고급 기능에 대해 알아볼 수도 있습니다.

몇 가지 예를 보고 Pachyderm의 핵심 사용 사례에 대해 알아보려면 다음을 수행하세요.

• 예
• 사용 사례
• 사례 연구

선적 서류 비치

공식 문서

지역 사회

다음을 통해 최신 상태를 유지하고 Pachyderm 지원을 받으세요.

• 트위터에서 우리를 팔로우하세요.
• 커뮤니티 Slack 채널에 가입하여 Pachyderm 팀과 다른 사용자로부터 도움을 받으세요.

기여

시작하려면 기여자 라이센스 계약에 서명하세요.

기여 가이드도 확인해 보세요.

우리에게 PR을 보내주세요. 우리는 당신이 무엇을 하는지 보고 싶습니다! 시작하기 좋은 곳으로 "도움 요청"이라고 표시된 항목에 대한 GH 문제를 확인할 수도 있습니다. 때때로 해당 라벨을 최신 상태로 유지하는 것이 좋지 않을 수 있으므로 라벨이 표시되지 않으면 알려주시기 바랍니다.

사용량 측정항목

Pachyderm은 익명화된 사용 측정항목을 자동으로 보고합니다. 이러한 지표는 사람들이 Pachyderm을 어떻게 사용하고 있는지 이해하고 개선하는 데 도움이 됩니다. pachd 컨테이너에서 환경 변수 METRICS false 로 설정하여 비활성화할 수 있습니다.