delta下載 - delta原始碼下載

delta

其他源碼

Delta Lake 3.2.1

下載

Delta Lake 是一個開源儲存框架，支援使用 Spark、PrestoDB、Flink、Trino 和 Hive 等運算引擎以及 Scala、Java、Rust、Ruby 和 Python 的 API 來建立 Lakehouse 架構。

有關詳細信息，請參閱 Delta Lake 文件。
請參閱快速入門指南以開始使用 Scala、Java 和 Python。
請注意，此儲存庫是 delta.io 組織中的眾多 Delta Lake 儲存庫之一，包括 delta、delta-rs、delta-sharing、kafka-delta-ingest 和 website。

以下是一些比較流行的 Delta Lake 集成，請參閱 delta.io/integrations 以獲取完整列表：

Apache Spark™：此連接器可讓 Apache Spark™ 讀取和寫入 Delta Lake。
Apache Flink（預覽版）：此連接器可讓 Apache Flink 寫入 Delta Lake。
PrestoDB：此連接器允許 PrestoDB 從 Delta Lake 讀取。
Trino：此連接器允許 Trino 讀取和寫入 Delta Lake。
Delta Standalone：此程式庫允許基於 Scala 和 Java 的專案（包括 Apache Flink、Apache Hive、Apache Beam 和 PrestoDB）讀取和寫入 Delta Lake。
Apache Hive：此連接器可讓 Apache Hive 從 Delta Lake 讀取資料。
Delta Rust API：該程式庫允許 Rust（帶有 Python 和 Ruby 綁定）對 Delta 表進行低階訪問，旨在與 datafusion、ballista、rust-dataframe、vega 等資料處理框架一起使用。

最新的二進位文件
API文件
相容性
- API相容性
- 資料儲存相容性
路線圖
大樓
交易協議
對底層儲存系統的要求
並發控制
報告問題
貢獻
執照
社群

API文件

Scala API 文件
Java API 文件
Python API 文件

相容性

Delta Standalone 函式庫是一個單節點 Java 函式庫，可用於讀取和寫入 Delta 表。具體來說，該庫提供了 API 來與事務日誌中表的元資料進行交互，實現 Delta 事務日誌協定以實現 Delta Lake 格式的事務保證。

API相容性

Delta Lake 專案提供了兩種類型的 API。

直接 Java/Scala/Python API - API 文件中記錄的類別和方法被視為穩定的公共 API。可以在程式碼中直接存取的所有其他類別、介面、方法都被視為內部的，並且它們可能會在不同版本之間發生變化。
基於 Spark 的 API - 您可以透過DataFrameReader / Writer （即spark.read 、 df.write 、 spark.readStream和df.writeStream ）讀取 Delta 表。這些 API 的選項將在 Delta Lake 的主要版本（例如 1.xx）中保持穩定。
請參閱線上文檔，以了解這些版本及其與 Apache Spark 版本的兼容性。

資料儲存相容性

Delta Lake 保證所有 Delta Lake 表的向後相容性（即，較新版本的 Delta Lake 將始終能夠讀取舊版本 Delta Lake 寫入的表）。然而，我們保留隨著交易協議引入新功能而中斷前向相容性的權利（即舊版本的 Delta Lake 可能無法讀取新版本產生的表）。

協定中的重大變更透過增加Protocol操作中的最低讀取器/寫入器版本來指示。

路線圖

有關 Delta Lake 進階路線圖，請參閱 Delta Lake 2022H1 路線圖。
有關詳細時間表，請參閱專案路線圖。

交易協議

Delta 事務日誌協定文件提供了交易協定的規格。

對底層儲存系統的要求

Delta Lake ACID 保證基於儲存系統的原子性和持久性保證。具體來說，我們要求儲存系統提供以下內容。

原子可見性：必須有一種方法可以使文件完全可見或根本不可見。
互斥：只有一名寫入者必須能夠在最終目的地建立（或重新命名）檔案。
一致的清單：將檔案寫入目錄後，該目錄的所有未來清單都必須傳回該檔案。

有關詳細信息，請參閱有關儲存配置的線上文件。

並發控制

Delta Lake 確保並發讀寫的可串行化。請參閱 Delta Lake 並發控制以了解更多詳細資訊。

報告問題

我們使用 GitHub Issues 來追蹤社群報告的問題。您也可以聯繫社區以獲得答案。

貢獻

我們歡迎對 Delta Lake 做出貢獻。請參閱我們的 CONTRIBUTING.md 以了解更多詳細資訊。

我們也遵守 Delta Lake 行為準則。

大樓

Delta Lake 使用 SBT 編譯。

編譯，執行

 build/sbt compile

若要產生工件，請執行

 build/sbt package

若要執行測試，請執行

 build/sbt test

若要執行單一測試套件，請執行

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

若要在單一測試套件中執行單一測試，請執行

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

有關更多命令，請參閱 SBT 文件。

IntelliJ 設定

IntelliJ 是開發 Delta Lake 時建議使用的 IDE。將 Delta Lake 匯入為新專案：

將 Delta Lake 克隆到例如~/delta中。
在 IntelliJ 中，選擇File > New Project > Project from Existing Sources...並選擇~/delta 。
在Import project from external model下選擇sbt 。按一下Next 。
在Project JDK下指定有效的 Java 1.8 JDK 並選擇使用 SBT shell 進行project reload和builds 。
按一下Finish 。

設定驗證

等待 IntelliJ 建立索引後，透過在 IntelliJ 中執行測試套件來驗證您的設定。

搜尋並開啟DeltaLogSuite
在類別聲明旁邊，右鍵單擊兩個綠色箭頭並選擇Run 'DeltaLogSuite'

故障排除

如果您看到以下形式的錯誤

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

然後依照下列步驟操作：

使用 SBT CLI 進行編譯： build/sbt compile 。
前往File > Project Structure... > Modules > delta-spark 。
在右側面板中的Source Folders下刪除所有target資料夾，例如target/scala-2.12/src_managed/main [generated]
按一下Apply ，然後重新執行測試。