delta

Delta Lake adalah kerangka kerja penyimpanan sumber terbuka yang memungkinkan pembangunan arsitektur Lakehouse dengan mesin komputasi termasuk Spark, PrestoDB, Flink, Trino, dan Hive serta API untuk Scala, Java, Rust, Ruby, dan Python.

• Lihat Dokumentasi Delta Lake untuk detailnya.
• Lihat Panduan Memulai Cepat untuk memulai Scala, Java, dan Python.
• Catatan, repo ini adalah salah satu dari banyak repositori Delta Lake di organisasi delta.io termasuk delta, delta-rs, delta-sharing, kafka-delta-ingest, dan situs web.

Berikut ini adalah beberapa integrasi Delta Lake yang lebih populer, lihat delta.io/integrations untuk daftar lengkapnya:

• Apache Spark™: Konektor ini memungkinkan Apache Spark™ membaca dan menulis ke Delta Lake.
• Apache Flink (Pratinjau): Konektor ini memungkinkan Apache Flink menulis ke Delta Lake.
• PrestoDB: Konektor ini memungkinkan PrestoDB membaca dari Delta Lake.
• Trino: Konektor ini memungkinkan Trino membaca dan menulis ke Delta Lake.
• Delta Standalone: ​​Pustaka ini memungkinkan proyek berbasis Scala dan Java (termasuk Apache Flink, Apache Hive, Apache Beam, dan PrestoDB) untuk membaca dan menulis ke Delta Lake.
• Apache Hive: Konektor ini memungkinkan Apache Hive membaca dari Delta Lake.
• Delta Rust API: Pustaka ini mengizinkan Rust (dengan pengikatan Python dan Ruby) akses tingkat rendah ke tabel Delta dan dimaksudkan untuk digunakan dengan kerangka pemrosesan data seperti datafusion, ballista, rustic-dataframe, vega, dll.

Daftar isi

• Biner terbaru
• Dokumentasi API
• Kesesuaian
  • Kompatibilitas API
  • Kompatibilitas Penyimpanan Data
• Peta jalan
• Bangunan
• Protokol Transaksi
• Persyaratan untuk Sistem Penyimpanan yang Mendasari
• Kontrol Konkurensi
• Masalah pelaporan
• Berkontribusi
• Lisensi
• Masyarakat

Biner Terbaru

Lihat dokumentasi online untuk rilis terbaru.

Dokumentasi API

• dokumen Scala API
• dokumen Java API
• dokumen Python API

Kesesuaian

Pustaka Delta Standalone adalah pustaka Java node tunggal yang dapat digunakan untuk membaca dan menulis ke tabel Delta. Secara khusus, perpustakaan ini menyediakan API untuk berinteraksi dengan metadata tabel di log transaksi, menerapkan Protokol Log Transaksi Delta untuk mencapai jaminan transaksional format Delta Lake.

Kompatibilitas API

Ada dua jenis API yang disediakan oleh proyek Delta Lake.

• API Java/Scala/Python Langsung - Kelas dan metode yang didokumentasikan dalam dokumen API dianggap sebagai API publik yang stabil. Semua kelas, antarmuka, metode lain yang dapat diakses langsung dalam kode dianggap internal, dan dapat berubah di seluruh rilis.
• API berbasis Spark - Anda dapat membaca tabel Delta melalui DataFrameReader / Writer (yaitu spark.read , df.write , spark.readStream dan df.writeStream ). Opsi untuk API ini akan tetap stabil dalam rilis besar Delta Lake (misalnya, 1.xx).
• Lihat dokumentasi online untuk rilis dan kompatibilitasnya dengan versi Apache Spark.

Kompatibilitas Penyimpanan Data

Delta Lake menjamin kompatibilitas ke belakang untuk semua tabel Delta Lake (yaitu, versi Delta Lake yang lebih baru akan selalu dapat membaca tabel yang ditulis oleh versi Delta Lake yang lebih lama). Namun, kami berhak untuk menghentikan kompatibilitas seiring dengan diperkenalkannya fitur-fitur baru pada protokol transaksi (yaitu, versi Delta Lake yang lebih lama mungkin tidak dapat membaca tabel yang dihasilkan oleh versi yang lebih baru).

Perubahan yang dapat menyebabkan gangguan pada protokol ditunjukkan dengan menambah versi pembaca/penulis minimum dalam tindakan Protocol .

Peta jalan

• Untuk peta jalan tingkat tinggi Delta Lake, lihat peta jalan Delta Lake 2022H1.
• Untuk garis waktu terperinci, lihat peta jalan proyek.

Protokol Transaksi

Dokumen Delta Transaction Log Protocol memberikan spesifikasi protokol transaksi.

Persyaratan untuk Sistem Penyimpanan yang Mendasari

Jaminan Delta Lake ACID didasarkan pada jaminan atomisitas dan ketahanan sistem penyimpanan. Secara khusus, kami memerlukan sistem penyimpanan untuk menyediakan hal berikut.

1. Visibilitas atom : Harus ada cara agar suatu file dapat terlihat secara keseluruhan atau tidak terlihat sama sekali.
2. Pengecualian bersama : Hanya satu penulis yang harus dapat membuat (atau mengganti nama) file di tujuan akhir.
3. Daftar yang konsisten : Setelah file ditulis dalam direktori, semua daftar di masa depan untuk direktori tersebut harus mengembalikan file tersebut.

Lihat dokumentasi online tentang Konfigurasi Penyimpanan untuk detailnya.

Kontrol Konkurensi

Delta Lake memastikan kemampuan serial untuk membaca dan menulis secara bersamaan. Silakan lihat Kontrol Konkurensi Delta Lake untuk detail selengkapnya.

Masalah pelaporan

Kami menggunakan Masalah GitHub untuk melacak masalah yang dilaporkan komunitas. Anda juga dapat menghubungi komunitas untuk mendapatkan jawaban.

Berkontribusi

Kami menyambut baik kontribusi ke Delta Lake. Lihat CONTRIBUTING.md kami untuk lebih jelasnya.

Kita juga mematuhi Kode Etik Delta Lake.

Bangunan

Delta Lake dikompilasi menggunakan SBT.

Untuk mengkompilasi, jalankan

 build/sbt compile

Untuk menghasilkan artefak, jalankan

 build/sbt package

Untuk menjalankan tes, jalankan

 build/sbt test

Untuk menjalankan rangkaian pengujian tunggal, jalankan

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

Untuk menjalankan satu pengujian di dalam dan satu rangkaian pengujian, jalankan

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

Lihat dokumen SBT untuk perintah lebih lanjut.

Pengaturan IntelliJ

IntelliJ adalah IDE yang direkomendasikan untuk digunakan saat mengembangkan Delta Lake. Untuk mengimpor Delta Lake sebagai proyek baru:

1. Kloning Delta Lake menjadi, misalnya, ~/delta .
2. Di IntelliJ, pilih File > New Project > Project from Existing Sources... dan pilih ~/delta .
3. Di bawah Import project from external model pilih sbt . Klik Next .
4. Di bawah Project JDK tentukan Java 1.8 JDK yang valid dan pilih untuk menggunakan shell SBT untuk memuat ulang dan builds project reload .
5. Klik Finish .

Verifikasi Pengaturan

Setelah menunggu IntelliJ mengindeks, verifikasi pengaturan Anda dengan menjalankan rangkaian pengujian di IntelliJ.

1. Cari dan buka DeltaLogSuite
2. Di samping deklarasi kelas, klik kanan pada dua panah hijau dan pilih Run 'DeltaLogSuite'

Pemecahan masalah

Jika Anda melihat kesalahan formulir

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

lalu ikuti langkah-langkah berikut:

1. Kompilasi menggunakan SBT CLI: build/sbt compile .
2. Buka File > Project Structure... > Modules > delta-spark .
3. Di panel kanan di bawah Source Folders , hapus semua folder target , misalnya target/scala-2.12/src_managed/main [generated]
4. Klik Apply lalu jalankan kembali pengujian Anda.

Lisensi

Lisensi Apache 2.0, lihat LISENSI.

Masyarakat

Ada dua media komunikasi dalam komunitas Delta Lake.

• Saluran Slack Publik
  • Daftar di sini
  • Masuk di sini
• halaman tertaut
• saluran Youtube
• Milis Publik