delta

Delta Lake เป็นเฟรมเวิร์กพื้นที่จัดเก็บข้อมูลแบบโอเพ่นซอร์สที่ช่วยให้สามารถสร้างสถาปัตยกรรม Lakehouse ด้วยกลไกการประมวลผล รวมถึง Spark, PrestoDB, Flink, Trino และ Hive และ API สำหรับ Scala, Java, Rust, Ruby และ Python

• ดูเอกสารประกอบ Delta Lake สำหรับรายละเอียด
• ดูคู่มือเริ่มต้นใช้งานฉบับย่อเพื่อเริ่มต้นใช้งาน Scala, Java และ Python
• โปรดทราบว่า repo นี้เป็นหนึ่งในที่เก็บ Delta Lake จำนวนมากในองค์กร delta.io รวมถึง delta, delta-rs, delta-sharing, kafka-delta-ingest และเว็บไซต์

ต่อไปนี้คือบางส่วนของการผสานรวม Delta Lake ที่ได้รับความนิยม โปรดดู delta.io/integrations สำหรับรายการทั้งหมด:

• Apache Spark™: ตัวเชื่อมต่อนี้อนุญาตให้ Apache Spark™ อ่านและเขียนไปยัง Delta Lake
• Apache Flink (ดูตัวอย่าง): ตัวเชื่อมต่อนี้อนุญาตให้ Apache Flink เขียนไปยัง Delta Lake
• PrestoDB: ตัวเชื่อมต่อนี้อนุญาตให้ PrestoDB อ่านจาก Delta Lake
• Trino: ตัวเชื่อมต่อนี้ช่วยให้ Trino อ่านและเขียนไปยัง Delta Lake
• Delta Standalone: ​​ไลบรารีนี้อนุญาตให้โปรเจ็กต์ที่ใช้ Scala และ Java (รวมถึง Apache Flink, Apache Hive, Apache Beam และ PrestoDB) อ่านและเขียนไปยัง Delta Lake
• Apache Hive: ตัวเชื่อมต่อนี้อนุญาตให้ Apache Hive อ่านจาก Delta Lake
• Delta Rust API: ไลบรารีนี้อนุญาตให้ Rust (ที่มีการผูก Python และ Ruby) เข้าถึงตาราง Delta ระดับต่ำ และมีวัตถุประสงค์เพื่อใช้กับเฟรมเวิร์กการประมวลผลข้อมูล เช่น datafusion, ballista,rust-dataframe, vega ฯลฯ

สารบัญ

• ไบนารีล่าสุด
• เอกสาร API
• ความเข้ากันได้
  • ความเข้ากันได้ของ API
  • ความเข้ากันได้ของการจัดเก็บข้อมูล
• แผนการทำงาน
• อาคาร
• โปรโตคอลการทำธุรกรรม
• ข้อกำหนดสำหรับระบบจัดเก็บข้อมูลพื้นฐาน
• การควบคุมภาวะพร้อมกัน
• การรายงานปัญหา
• มีส่วนร่วม
• ใบอนุญาต
• ชุมชน

ไบนารีล่าสุด

ดูเอกสารออนไลน์สำหรับรุ่นล่าสุด

เอกสาร API

• เอกสาร Scala API
• เอกสาร Java API
• เอกสาร Python API

ความเข้ากันได้

ไลบรารี Delta Standalone เป็นไลบรารี Java โหนดเดียวที่สามารถใช้เพื่ออ่านและเขียนลงในตาราง Delta โดยเฉพาะอย่างยิ่ง ไลบรารีนี้มี API เพื่อโต้ตอบกับข้อมูลเมตาของตารางในบันทึกธุรกรรม โดยใช้ Delta Transaction Log Protocol เพื่อให้บรรลุการรับประกันธุรกรรมในรูปแบบ Delta Lake

ความเข้ากันได้ของ API

มี API สองประเภทที่จัดทำโดยโครงการ Delta Lake

• Direct Java/Scala/Python API - คลาสและวิธีการที่ระบุไว้ในเอกสาร API ถือเป็น API สาธารณะที่เสถียร คลาส อินเทอร์เฟซ วิธีการอื่นๆ ทั้งหมดที่อาจเข้าถึงได้โดยตรงในโค้ดถือเป็นการภายใน และอาจมีการเปลี่ยนแปลงในรุ่นต่างๆ
• API ที่ใช้ Spark - คุณสามารถอ่านตาราง Delta ผ่านทาง DataFrameReader / Writer (เช่น spark.read , df.write , spark.readStream และ df.writeStream ) ตัวเลือกสำหรับ API เหล่านี้จะยังคงมีเสถียรภาพภายในรุ่นหลักของ Delta Lake (เช่น 1.xx)
• ดูเอกสารออนไลน์สำหรับการเผยแพร่และความเข้ากันได้กับเวอร์ชัน Apache Spark

ความเข้ากันได้ของการจัดเก็บข้อมูล

Delta Lake รับประกันความเข้ากันได้แบบย้อนหลังสำหรับตาราง Delta Lake ทั้งหมด (เช่น Delta Lake เวอร์ชันใหม่กว่าจะสามารถอ่านตารางที่เขียนโดย Delta Lake เวอร์ชันเก่าได้เสมอ) อย่างไรก็ตาม เราขอสงวนสิทธิ์ในการทำลายความเข้ากันได้เนื่องจากมีการนำคุณสมบัติใหม่ๆ มาใช้กับโปรโตคอลธุรกรรม (เช่น Delta Lake เวอร์ชันเก่าอาจไม่สามารถอ่านตารางที่สร้างโดยเวอร์ชันที่ใหม่กว่าได้)

การเปลี่ยนแปลงที่สำคัญในโปรโตคอลจะถูกระบุโดยการเพิ่มเวอร์ชันตัวอ่าน/ตัวเขียนขั้นต่ำในการดำเนินการ Protocol

แผนการทำงาน

• สำหรับแผนงานระดับสูงของ Delta Lake โปรดดูแผนงาน Delta Lake 2022H1
• สำหรับไทม์ไลน์โดยละเอียด โปรดดูแผนงานของโครงการ

โปรโตคอลการทำธุรกรรม

เอกสาร Delta Transaction Log Protocol ระบุข้อกำหนดของโปรโตคอลธุรกรรม

ข้อกำหนดสำหรับระบบจัดเก็บข้อมูลพื้นฐาน

การรับประกัน Delta Lake ACID นั้นขึ้นอยู่กับการรับประกันความเป็นอะตอมมิกและความทนทานของระบบจัดเก็บข้อมูล โดยเฉพาะอย่างยิ่ง เราต้องการระบบจัดเก็บข้อมูลเพื่อจัดเตรียมสิ่งต่อไปนี้

1. การมองเห็นแบบอะตอมมิก : จะต้องมีวิธีเพื่อให้ไฟล์มองเห็นได้ทั้งหมดหรือมองไม่เห็นเลย
2. การยกเว้นร่วมกัน : นักเขียนเพียงคนเดียวเท่านั้นที่ต้องสามารถสร้าง (หรือเปลี่ยนชื่อ) ไฟล์ที่ปลายทางสุดท้ายได้
3. รายการที่สอดคล้องกัน : เมื่อไฟล์ถูกเขียนในไดเร็กทอรี รายการในอนาคตทั้งหมดสำหรับไดเร็กทอรีนั้นจะต้องส่งคืนไฟล์นั้น

ดูเอกสารออนไลน์เกี่ยวกับการกำหนดค่าพื้นที่เก็บข้อมูลสำหรับรายละเอียด

การควบคุมภาวะพร้อมกัน

Delta Lake ช่วยให้มั่นใจได้ถึง ความสามารถในการซีเรียลไลซ์ สำหรับการอ่านและเขียนพร้อมกัน โปรดดูการควบคุมการทำงานพร้อมกันของ Delta Lake สำหรับรายละเอียดเพิ่มเติม

การรายงานปัญหา

เราใช้ปัญหา GitHub เพื่อติดตามปัญหาที่ชุมชนรายงาน คุณยังสามารถติดต่อชุมชนเพื่อรับคำตอบได้

มีส่วนร่วม

เรายินดีต้อนรับการมีส่วนร่วมของ Delta Lake ดู CONTRIBUTING.md ของเราสำหรับรายละเอียดเพิ่มเติม

นอกจากนี้เรายังปฏิบัติตามหลักจรรยาบรรณของ Delta Lake

อาคาร

Delta Lake รวบรวมโดยใช้ SBT

เพื่อคอมไพล์รัน

 build/sbt compile

หากต้องการสร้างสิ่งประดิษฐ์ ให้รัน

 build/sbt package

หากต้องการดำเนินการทดสอบ ให้รัน

 build/sbt test

หากต้องการดำเนินการชุดทดสอบชุดเดียว ให้รัน

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

หากต้องการดำเนินการทดสอบเดียวภายในและชุดทดสอบเดียว ให้รัน

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

อ้างถึงเอกสาร SBT สำหรับคำสั่งเพิ่มเติม

การตั้งค่า IntelliJ

IntelliJ เป็น IDE ที่แนะนำให้ใช้ในการพัฒนา Delta Lake หากต้องการนำเข้า Delta Lake เป็นโครงการใหม่:

1. โคลน Delta Lake ลงใน ~/delta
2. ใน IntelliJ เลือก File > New Project > Project from Existing Sources... และเลือก ~/delta
3. ภายใต้ Import project from external model ให้เลือก sbt คลิก Next
4. ภายใต้ Project JDK ให้ระบุ Java 1.8 JDK ที่ถูกต้อง และเลือกใช้เชลล์ SBT สำหรับ project reload และ builds โปรเจ็กต์
5. คลิก Finish

ตั้งค่าการยืนยัน

หลังจากรอให้ IntelliJ สร้างดัชนี ให้ตรวจสอบการตั้งค่าของคุณโดยการรันชุดทดสอบใน IntelliJ

1. ค้นหาและเปิด DeltaLogSuite
2. ถัดจากการประกาศชั้นเรียน ให้คลิกขวาที่ลูกศรสีเขียวสองลูกแล้วเลือก Run 'DeltaLogSuite'

การแก้ไขปัญหา

หากพบเห็นข้อผิดพลาดของแบบฟอร์ม

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

จากนั้นทำตามขั้นตอนเหล่านี้:

1. คอมไพล์โดยใช้ SBT CLI: build/sbt compile
2. ไปที่ File > Project Structure... > Modules > delta-spark
3. ในแผงด้านขวาใต้ Source Folders ให้ลบโฟลเดอร์ target ใด ๆ เช่น target/scala-2.12/src_managed/main [generated]
4. คลิก Apply จากนั้นทำการทดสอบของคุณอีกครั้ง

ใบอนุญาต

Apache License 2.0 ดูใบอนุญาต

ชุมชน

มีสองสื่อในการสื่อสารภายในชุมชนเดลต้าเลค

• ช่องหย่อนสาธารณะ
  • ลงทะเบียนที่นี่
  • เข้าสู่ระบบที่นี่
• ลิงค์เพจ
• ช่องยูทูป
• รายชื่อผู้รับจดหมายสาธารณะ