hellodata be

HelloDATA BE: платформа корпоративных данных с открытым исходным кодом

Открытая платформа корпоративных данных на едином портале

HelloDATA BE объединяет возможности инструментов с открытым исходным кодом в единую платформу данных корпоративного уровня. Он упрощает комплексную обработку данных за счет объединения таких инструментов, как dbt, Airflow и Superset, основанных на надежной базе данных Postgres. Наша платформа сочетает в себе гибкость открытого исходного кода и надежность корпоративных решений, оптимизируя рабочий процесс с данными на одном доступном портале.

Видение и цель

Гибкие и прозрачные платформы данных имеют жизненно важное значение в быстро развивающейся цифровой среде. HelloDATA BE пытается помочь, предлагая решение с открытым исходным кодом, адаптированное к потребностям предприятия. Наша миссия — демократизировать данные и обеспечить комплексную обработку данных, основанную на инновациях. Узнать больше.

Быстрый старт

Основная настройка

1. Настройки Docker Desktop : для пользователей Mac настройте параметры Docker Desktop для поддержки нескольких платформ (особенно для пользователей чипов Arm64). Подробности.
2. Запись в файле хостов : убедитесь, что 127.0.0.1 host.docker.internal добавлен в /etc/hosts . Для Windows включите в настройках Docker Desktop WSL. Как это сделать.

Инструкции по запуску

Измените каталог на hello-data-deployment/docker-compose и запустите:

docker-compose up -d

Извлечение всех образов и запуск контейнеров займет некоторое время. После завершения получите доступ к веб-порталу по адресу localhost:8080 (по умолчанию: admin/admin).

Примечание:

• Подробные инструкции по запуску, устранению неполадок и часто задаваемые вопросы находятся в README docker-compose.
• Специальная информация по настройке для пользователей Windows.

Ключевые особенности

HelloDATA BE — это больше, чем платформа; это целостное решение для обработки данных:

• Единая платформа корпоративных данных с комплексным набором инструментов с открытым исходным кодом.
• Доменно-ориентированная архитектура для эффективного управления данными.
• Надежное моделирование данных с отслеживанием происхождения.
• Информация в режиме реального времени о запусках и оркестровках.
• Создание и совместное использование информационной панели в масштабе всей компании.

Архитектура и компоненты

HelloDATA BE построен с учетом модульности и расширяемости архитектуры, поддерживается NATS, Keycloak и другими, обеспечивая безопасную, эффективную и адаптируемую обработку данных. Исследуйте архитектуру.

Представление предметной области: предметная область бизнеса и данных

Различные представления являются жизненно важным аспектом HelloDATA BE. Добавление нескольких бизнес-доменов с n доменами данных делает его готовым к использованию на предприятии.

• Бизнес-домен : основные сервисы, включая портал, оркестрацию и мониторинг.
• Data Domain : сердце хранилища данных, включающее таблицы/схемы, модели данных dbt, витрины данных, среды DWH и многое другое.

В каждом бизнес-домене сосуществуют несколько доменов данных, каждый из которых имеет выделенное хранилище и специализированные модели данных. Ныряйте глубже. Также ознакомьтесь с руководством пользователя для подробного обзора функций.

Веб-сайт документации: вся справочная документация и документация для разработчиков здесь, на GitHub, также размещена в виде веб-сайта для большего удобства.

Вклад в HelloDATA BE

Присоединяйтесь к нашему пути развития:

• Рекомендации разработчика
• HelloDATA BE Архитектура
  • Используемый стек данных
  • Обзор архитектуры
  • Анализ инфраструктуры

Статус разработки

Будьте в курсе нашего прогресса и планов по нашей дорожной карте или свяжитесь с нами для обсуждения или связи с общественностью/проблемы.

Авторы

• Адриан Бергер (разработчик)
• Андреа Гензель (Тестер)
• Дарио Багатто (разработчик)
• Лорин Ребер (владелец продукта, руководитель отдела ценностей)
• Миха Эйхманн (разработчик)
• Майкл Дистели (менеджер по продукту)
• Николас Шмид (первоначальный разработчик и архитектор)
• Раджиб Митра (разработчик)
• Саймон Спэти (разработчик)
• Славомир Вечорек (Разработчик)
• Томас Амланг (разработчик)

(в алфавитном порядке)

Лицензия

HelloDATA BE выпускается под лицензией BSD с 3 пунктами. Авторские права (c) 2024, Кантон Берн.

Свяжитесь с нами

Мы рекомендуем вам начать обсуждение здесь, на GitHub, или создать проблему. Кроме того, вы можете связаться с нами по адресу [email protected].