sqlflow

SQLflow

Что такое sqlflow

SQLflow - это компилятор, который компилирует программу SQL для рабочего процесса, который работает на Kubernetes. Ввод - это программа SQL, которая написана в нашей расширенной грамматике SQL для поддержки заданий искусственного интеллекта, включая обучение, прогнозирование, оценку модели, модель объяснения, пользовательские задания и математическое программирование. Выход - это рабочий процесс Argo, который работает на распределенном кластере Kubernetes.

SQLFLOW поддерживает различные системы баз данных, такие как MySQL, MariaDB, TIDB, Hive, MaxCompute и многие наборы инструментов машинного обучения, такие как TensorFlow, Keras, XGBOOST.

Попробуйте SQLflow Теперь на нашей игровой площадке https://playground.sqlflow.tech/ и проверьте удобные учебники в ней.

Мотивация

Текущий опыт приложений на основе разработки ML требует команды инженеров данных, ученых данных, бизнес -аналитиков, а также распространения передовых языков и инструментов программирования, таких как Python, SQL, SAS, SASS, Julia, R. Фрагментация среды инструментов и развития приносит дополнительные трудности в инженерном обучении/настройке. Что если мы женим на наиболее широко используемом языке управления данными/обработкой SQL с возможностями ML/систем и позволите инженерам с навыками SQL разрабатывать расширенные приложения на основе ML?

В отрасли уже есть какая -то работа. Мы можем написать простые алгоритмы прогнозирования машинного обучения (или оценки) в SQL, используя такие операторы, как DOT_PRODUCT . Тем не менее, для этого требуются параметры модели Copy-N-Pasty от учебной программы до операторов SQL. В коммерческом мире мы видим некоторые запатентованные двигатели SQL, предоставляющие расширения для поддержки возможностей машинного обучения.

• Microsoft SQL Server: Microsoft SQL Server имеет службу машинного обучения, которая запускает программы машинного обучения в R или Python в качестве внешнего сценария.
• Teradata SQL для DL: Teradata также предоставляет услугу RESTFUL, которая можно вывести из расширенного синтаксиса SQL SELECT.
• Google BigQuery: Google BigQuery позволяет машинному обучению в SQL, введя оператор CREATE MODEL .

Ни одно из существующих решений не решает нашу болезненную точку, вместо этого мы хотим, чтобы оно было полностью расширяемым.

1. Это решение должно быть совместимо со многими двигателями SQL, а не к конкретной версии или типу.
2. Он должен поддерживать сложные модели машинного обучения, в том числе TensorFlow для глубокого обучения и XGBOOST для деревьев.
3. Мы также хотим, чтобы гибкость для настройки и запуска передовых алгоритмов ML, включая определение скрещиваний функций, по крайней мере, без Python или R-кода, встроенного в операторы SQL, и полностью интегрированный с оценкой гиперпараметрических.

Быстрый обзор

Вот примеры для обучения модели TensorFlow DNNClassifier с использованием образца данных Iris.train и выполнения прогнозирования с использованием обученной модели. Вы можете увидеть, как круто написать какой -то элегантный код ML с помощью SQL:

sqlflow > SELECT *
FROM iris . train
TO TRAIN DNNClassifier
WITH model . n_classes = 3 , model . hidden_units = [ 10 , 20 ]
COLUMN sepal_length, sepal_width, petal_length, petal_width
LABEL class
INTO sqlflow_models . my_dnn_model ;

...
Training set accuracy: 0 . 96721
Done training

sqlflow > SELECT *
FROM iris . test
TO PREDICT iris . predict .class
USING sqlflow_models . my_dnn_model ;

...
Done predicting. Predict table : iris . predict 

Как использовать sqlflow

• Быстрый старт
• Языковой гид
• Интерактивные примеры
  • Пример классификации DNN в наборе данных IRIS
  • Пример классификации DNN для обнаружения мошенничества
  • Прогноз цены жилья с XGBOOST
  • Объяснение прогнозирования цен на жилье объяснение
  • Руководство по математической оптимизации

Внесение руководящих принципов

• Построить и проверить
• Прохождение проекта

Дорожная карта

SQLFLOW будет любить поддерживать как можно больше основных структур ML и источников данных, но мы чувствуем, что расширение будет трудно сделать просто самостоятельно, поэтому мы хотели бы услышать ваши варианты о том, какие структуры ML и источники данных, которые вы в настоящее время используете и наращиваете. Пожалуйста, обратитесь к нашей дорожной карте для конкретных сроков, также сообщите нам о ваших текущих сценариях и интересах в рамках проекта SQLFLOW, чтобы мы могли расставить приоритеты на основе отзывов сообщества.

Обратная связь

Ваш отзыв - наша мотивация двигаться дальше. Пожалуйста, сообщите нам о ваших вопросах, проблемах и проблемах, подав вопросы GitHub.

Лицензия

Apache License 2.0

Опубликовано

• Arxiv Paper на https://arxiv.org/abs/2001.06846
• Демо -видео
  1. 19.01.2020: https://www.youtube.com/watch?v=qujqn7epbto
  2. 10/04/2019: https://www.youtube.com/watch?v=zikwoq_davw
  3. 01.04.2019: https://www.youtube.com/watch?v=zikwoq_davw