sqlflow

sqlflow

sqlflow คืออะไร

SQLFLOW เป็นคอมไพเลอร์ที่รวบรวมโปรแกรม SQL ไปยังเวิร์กโฟลว์ที่ทำงานบน Kubernetes อินพุตเป็นโปรแกรม SQL ที่เขียนไว้ในไวยากรณ์ SQL ที่ขยายออกไปของเราเพื่อสนับสนุนงาน AI รวมถึงการฝึกอบรมการทำนายการประเมินแบบจำลองการอธิบายแบบจำลองงานที่กำหนดเองและการเขียนโปรแกรมทางคณิตศาสตร์ เอาต์พุตเป็นเวิร์กโฟลว์อาร์โก้ที่ทำงานบนคลัสเตอร์ Kubernetes กระจาย

SQLFlow รองรับระบบฐานข้อมูลต่างๆเช่น MySQL, Mariadb, TIDB, Hive, MaxCompute และชุดเครื่องมือการเรียนรู้ของเครื่องจักรมากมายเช่น TensorFlow, Keras, XGBOOST

ลอง SQLFLOW ตอนนี้ ในสนามเด็กเล่นของเรา https://playground.sqlflow.tech/ และตรวจสอบบทเรียนที่มีประโยชน์ในนั้น

แรงจูงใจ

ประสบการณ์ปัจจุบันของแอพพลิเคชั่นที่ใช้การพัฒนา ML ต้องการทีมวิศวกรข้อมูลนักวิทยาศาสตร์ข้อมูลนักวิเคราะห์ธุรกิจรวมถึงการเพิ่มจำนวนภาษาและเครื่องมือการเขียนโปรแกรมขั้นสูงเช่น Python, SQL, SAS, SASS, Julia, R. การแยกส่วนของเครื่องมือและการพัฒนา ถ้าเราแต่งงานกับการจัดการข้อมูล/การประมวลผลภาษา SQL ที่ใช้กันอย่างแพร่หลายมากที่สุดด้วยความสามารถของ ML/ระบบและให้วิศวกรที่มีทักษะ SQL พัฒนาแอพพลิเคชั่น ML ขั้นสูง

มีงานบางอย่างอยู่ระหว่างดำเนินการในอุตสาหกรรม เราสามารถเขียนอัลกอริทึมการทำนายการเรียนรู้ของเครื่องจักรอย่างง่าย (หรือการให้คะแนน) ใน SQL โดยใช้ตัวดำเนินการเช่น DOT_PRODUCT อย่างไรก็ตามสิ่งนี้ต้องใช้พารามิเตอร์โมเดลการคัดลอก N-pasting จากโปรแกรมการฝึกอบรมไปยังคำสั่ง SQL ในโลกการค้าเราเห็นเครื่องยนต์ SQL ที่เป็นกรรมสิทธิ์บางส่วนให้ส่วนขยายเพื่อสนับสนุนความสามารถในการเรียนรู้ของเครื่อง

• Microsoft SQL Server: Microsoft SQL Server มีบริการการเรียนรู้ของเครื่องที่ใช้โปรแกรมการเรียนรู้ของเครื่องใน R หรือ Python เป็นสคริปต์ภายนอก
• Teradata SQL สำหรับ DL: Teradata ยังให้บริการพักผ่อนซึ่งสามารถเรียกได้จากไวยากรณ์ SQL Select Extended
• Google BigQuery: Google BigQuery เปิดใช้งานการเรียนรู้ของเครื่องใน SQL โดยแนะนำคำสั่ง CREATE MODEL

ไม่มีวิธีแก้ปัญหาที่มีอยู่ในปัจจุบันแก้ปัญหาความเจ็บปวดของเรา แต่เราต้องการให้มันขยายได้อย่างเต็มที่

1. โซลูชันนี้ควรเข้ากันได้กับเครื่องยนต์ SQL จำนวนมากแทนที่จะเป็นเวอร์ชันหรือประเภทเฉพาะ
2. ควรรองรับรูปแบบการเรียนรู้ของเครื่องจักรที่ซับซ้อนรวมถึง TensorFlow สำหรับการเรียนรู้ลึกและ XGBOOST สำหรับต้นไม้
3. นอกจากนี้เรายังต้องการความยืดหยุ่นในการกำหนดค่าและเรียกใช้อัลกอริทึม ML ที่ทันสมัยรวมถึงการระบุคุณสมบัติข้ามอย่างน้อยไม่มีรหัส Python หรือ R ที่ฝังอยู่ในคำสั่ง SQL และรวมเข้ากับการประมาณค่าพารามิเตอร์อย่างเต็มที่

ภาพรวมอย่างรวดเร็ว

นี่คือตัวอย่างสำหรับการฝึกอบรมแบบจำลอง Tensorflow DnnClassifier โดยใช้ข้อมูลตัวอย่าง iris.train และการทำนายการทำนายโดยใช้แบบจำลองที่ผ่านการฝึกอบรม คุณสามารถดูว่ามันเจ๋งแค่ไหนในการเขียนรหัส ML ที่หรูหราโดยใช้ SQL:

sqlflow > SELECT *
FROM iris . train
TO TRAIN DNNClassifier
WITH model . n_classes = 3 , model . hidden_units = [ 10 , 20 ]
COLUMN sepal_length, sepal_width, petal_length, petal_width
LABEL class
INTO sqlflow_models . my_dnn_model ;

...
Training set accuracy: 0 . 96721
Done training

sqlflow > SELECT *
FROM iris . test
TO PREDICT iris . predict .class
USING sqlflow_models . my_dnn_model ;

...
Done predicting. Predict table : iris . predict 

วิธีใช้ sqlflow

• เริ่มต้นอย่างรวดเร็ว
• คู่มือภาษา
• ตัวอย่างแบบโต้ตอบ
  • ตัวอย่างการจำแนกประเภท DNN ในชุดข้อมูล IRIS
  • ตัวอย่างการจำแนกประเภท DNN เกี่ยวกับการตรวจจับการฉ้อโกง
  • การทำนายราคาที่อยู่อาศัยด้วย xgboost
  • คำอธิบายการทำนายราคาที่อยู่อาศัย
  • คู่มือการเพิ่มประสิทธิภาพทางคณิตศาสตร์

แนวทางการสนับสนุน

• สร้างและทดสอบ
• คำแนะนำโครงการ

แผนงาน

SQLFLOW จะรักที่จะสนับสนุนกรอบ ML หลักและแหล่งข้อมูลที่เป็นไปได้มากที่สุดเท่าที่จะเป็นไปได้ แต่เรารู้สึกว่าการขยายตัวจะยากที่จะทำด้วยตัวเองดังนั้นเราจึงชอบที่จะได้ยินตัวเลือกของคุณเกี่ยวกับกรอบงาน ML และแหล่งข้อมูลที่คุณใช้อยู่ โปรดดูแผนงานของเราสำหรับระยะเวลาที่เฉพาะเจาะจงแจ้งให้เราทราบสถานการณ์และความสนใจในปัจจุบันของคุณในโครงการ SQLFlow เพื่อให้เราสามารถจัดลำดับความสำคัญตามข้อเสนอแนะจากชุมชน

ข้อเสนอแนะ

ความคิดเห็นของคุณคือแรงจูงใจของเราที่จะเดินหน้าต่อไป โปรดแจ้งให้เราทราบคำถามข้อกังวลและปัญหาของคุณโดยการยื่นปัญหา GitHub

ใบอนุญาต

ใบอนุญาต Apache 2.0

ที่ตีพิมพ์

• กระดาษ arxiv ที่ https://arxiv.org/abs/2001.06846
• วิดีโอสาธิต
  1. 01/19/2020: https://www.youtube.com/watch?v=QUJQN7EPBTO
  2. 10/04/2019: https://www.youtube.com/watch?v=zikwoq_davw
  3. 04/01/2019: https://www.youtube.com/watch?v=zikwoq_davw