pachyderm

Толстокожий – автоматизируйте преобразование данных с помощью управления версиями и происхождением данных.

Pachyderm экономически эффективен в масштабе, позволяя командам разработчиков данных автоматизировать сложные конвейеры с помощью сложных преобразований данных любого типа. Наш уникальный подход обеспечивает параллельную обработку многоэтапных, независимых от языка конвейеров с управлением версиями данных и отслеживанием происхождения данных. Pachyderm предоставляет совершенный механизм CI/CD для обработки данных.

Функции

• Конвейеры, управляемые данными, автоматически запускаются при обнаружении изменений данных.
• Неизменяемое происхождение данных с управлением версиями данных любого типа.
• Автомасштабирование и параллельная обработка, созданные на базе Kubernetes для оркестрации ресурсов.
• Использует стандартные хранилища объектов для хранения данных с автоматической дедупликацией.
• Работает со всеми основными поставщиками облачных услуг и локальными установками.

Начиная

Чтобы начать развертывание сквозных конвейеров данных с контролем версий, запустите Pachyderm локально или вы также можете выполнить развертывание на AWS/GCE/Azure примерно за 5 минут.

Вы также можете обратиться к нашей полной документации, чтобы просмотреть учебные пособия, ознакомиться с примерами проектов и узнать о расширенных функциях Pachyderm.

Если вы хотите увидеть несколько примеров и узнать об основных вариантах использования Pachyderm:

• Примеры
• Варианты использования
• Тематические исследования

Документация

Официальная документация

Сообщество

Будьте в курсе событий и получайте поддержку Pachyderm через:

• Следуйте за нами в Твиттере.
• Присоединяйтесь к нашему каналу Slack сообщества, чтобы получить помощь от команды Pachyderm и других пользователей.

Содействие

Для начала подпишите Лицензионное соглашение для участников.

Вам также следует ознакомиться с нашим руководством по участию.

Присылайте нам PR, мы будем рады увидеть, что вы делаете! Вы также можете проверить наши проблемы с GH на предмет вещей, помеченных как «требуется помощь», как хорошее место для начала. Иногда мы плохо поддерживаем актуальность этой метки, поэтому, если вы ее не видите, просто сообщите нам об этом.

Метрики использования

Pachyderm автоматически сообщает анонимные показатели использования. Эти показатели помогают нам понять, как люди используют Pachyderm, и сделать его лучше. Их можно отключить, установив для переменной env METRICS значение false в контейнере pachd.