DataSphereStudio — универсальный портал для разработки и управления приложениями для работы с данными, версия 1.2.1

DataSphere Studio (сокращенно DSS) — это универсальный портал для разработки и управления приложениями для работы с данными, разработанный WeBank.

Единый портал разработки и управления приложениями для обработки данных DataSphereStudio основан на платформе интеграции подключаемых модулей и промежуточном вычислительном программном обеспечении Linkis, которое обеспечивает легкий доступ к различным прикладным системам данных верхнего уровня, что делает разработку данных простой и удобной в использовании.

В рамках унифицированного пользовательского интерфейса DataSphere Studio использует графический интерфейс разработки с помощью перетаскивания в стиле рабочего процесса для удовлетворения потребностей разработки приложений данных, включая обмен данными, снижение чувствительности и очистку, анализ и добычу, проверку качества, визуальное отображение, планирование времени для данных. выходные приложения и т. д. Требования к сценарию полного процесса.

DSS использует подключаемую структуру интеграции, позволяющую пользователям просто и быстро заменять различные функциональные компоненты, интегрированные в DSS, или добавлять новые функциональные компоненты в соответствии с потребностями.

Благодаря возможностям подключения, повторного использования и упрощения промежуточного программного обеспечения Linkis, DSS по своей сути оснащен возможностями выполнения и планирования на финансовом уровне, такими как высокий уровень параллелизма, высокая доступность, многопользовательская изоляция, а также управление и контроль ресурсов.

Основные функции

Основные возможности ДСС

1. Единый, полнофункциональный интерфейс управления разработкой приложений.

DSS имеет очень высокую степень интеграции. В настоящее время интегрированные системы включают в себя:

1. Инструмент IDE для разработки данных — Scriptis.

2. Инструмент визуализации данных — Visualis (на основе вторичной разработки CreditEase Davinci).

3. Инструмент управления качеством данных — Qualitis

4. Инструмент планирования рабочего процесса — Азкабан.

Модель разработки подключаемых модулей DSS позволяет пользователям быстро заменять различные веб-системы, интегрированные в DSS. Например: замените Scriptis на Zeppelin и Azkaban на DolphinScheduler.

2. Создайте уникальную концепцию дизайна AppJoint на основе промежуточного программного обеспечения Linkis.

AppJoint — это основная концепция DSS, которая позволяет легко и быстро интегрировать различные веб-системы верхнего уровня.

AppJoint - объединение приложений, определяет унифицированный набор спецификаций внешнего и внутреннего доступа, обеспечивая быстрый и легкий доступ к внешним прикладным системам данных, что становится частью разработки приложений данных DSS.

DSS последовательно соединяет несколько AppJoints, образуя рабочий процесс, который поддерживает выполнение в реальном времени и планирование по расписанию. Пользователи могут завершить весь процесс разработки приложений с данными, просто перетаскивая их.

Поскольку AppJoint подключен к Linkis, внешняя система приложений данных имеет возможности управления и контроля ресурсов, ограничения параллелизма, управления пользовательскими ресурсами и т. д., а также позволяет совместно использовать контекстную информацию между уровнями системы, полностью попрощавшись с островами приложений.

3. Группа управления проектным уровнем

Используя Project в качестве единицы управления, он организует и управляет бизнес-приложениями каждой системы приложений данных, а также определяет набор общих стандартов для совместной разработки проектов в системах приложений данных.

4. Интегрированные компоненты приложения данных.

Реализуя несколько AppJoints, DSS интегрировал множество прикладных систем данных верхнего уровня, которые в основном могут удовлетворить потребности пользователей в разработке данных.

При необходимости пользователи могут легко интегрировать новые прикладные системы данных, чтобы заменить или обогатить процесс разработки приложений данных DSS.

1. Возможность планирования DSS — Azkaban AppJoint

Многие приложения для обработки данных пользователей обычно хотят иметь возможности периодического планирования.

Существующие в настоящее время на рынке системы планирования с открытым исходным кодом слабо интегрированы с другими прикладными системами обработки данных верхнего уровня и их трудно интегрировать.

Реализуя Azkaban AppJoint, DSS позволяет пользователям одним щелчком мыши публиковать организованный рабочий процесс в Azkaban для планирования по расписанию.

DSS также определяет набор стандартных и универсальных спецификаций анализа и публикации рабочих процессов DSS для систем планирования, что позволяет другим системам планирования легко подключаться к DSS при небольших затратах.

2. Разработка данных - Scriptis AppJoint

Что такое скриптис?

Scriptis — это веб-инструмент для анализа данных, который поддерживает онлайн-написание SQL, Pyspark, HiveQL и других сценариев и отправляет их в Linkis для выполнения. Он также поддерживает функции корпоративного уровня, такие как UDF, функции, управление и контроль ресурсов, а также интеллектуальную диагностику.

Scriptis AppJoint интегрирует возможности Scriptis по разработке данных в DSS и позволяет различным типам сценариев Scriptis участвовать в процессе разработки приложений в качестве узлов рабочего процесса DSS.

В настоящее время поддерживаются такие типы узлов сценариев, как HiveSQL, SparkSQL, Pyspark и Scala.

3. Визуализация данных — Visualis AppJoint

Что такое Визуалис?

Visualis — это инструмент бизнес-аналитики для визуализации данных, разработанный на основе проекта с открытым исходным кодом CreditEase Davinci. Он предоставляет пользователям возможности визуализации данных финансового уровня с точки зрения безопасности данных и разрешений.

Visualis AppJoint объединяет возможности визуализации данных Visualis для DSS и позволяет использовать экраны данных и информационные панели в качестве узлов рабочего процесса DSS и связывать их с восходящей витриной данных.

4. Качество данных — Qualitis AppJoint

Qualitis AppJoint объединяет возможности проверки качества данных для DSS, интегрирует систему качества данных в разработку рабочих процессов DSS и проверяет целостность и правильность данных.

5. Отправка данных — Sender AppJoint

Sender AppJoint объединяет возможности отправки данных для DSS и в настоящее время поддерживает тип узла SendEmail. Наборы результатов всех других узлов можно отправлять по электронной почте.

Например: узел SendEmail может напрямую отправлять большие отображаемые данные по электронной почте.

6. Узел сигнала — Signal AppJoint.

EventChecker AppJoint используется для усиления разделения и взаимосвязи между бизнесом и процессами.

Узел DataChecker: проверьте, существует ли раздел таблицы библиотеки.

EventSender: узел отправки сообщений между рабочими процессами и проектами.

EventReceiver: узел приема сообщений между рабочими процессами и проектами.

7. Функциональный узел

Пустой узел, дочерний узел рабочего процесса.

8. Расширение узла

В соответствии с потребностями пользователи могут просто и быстро заменять различные функциональные компоненты, интегрированные DSS, или добавлять новые функциональные компоненты.

Сценарии использования

DataSphere Studio подходит для следующих сценариев.

1. Сценарии, когда платформа больших данных создается или имеет предварительные возможности, но отсутствуют инструменты применения данных.

2. Сценарии, в которых базовые возможности платформы больших данных уже доступны, а инструментов применения данных лишь несколько.

3. Уже есть базовые возможности платформы больших данных и все инструменты для применения данных, но инструменты еще не подключены, и пользователи испытывают сильное чувство изоляции и высокие затраты на обучение.

4. Уже имеются базовые возможности платформы больших данных и все инструменты применения данных. Некоторые инструменты подключены, но унифицированный и стандартизированный сценарий еще не определен.

Расширять