delta

Delta Lake 是一个开源存储框架，支持使用 Spark、PrestoDB、Flink、Trino 和 Hive 等计算引擎以及 Scala、Java、Rust、Ruby 和 Python 的 API 构建 Lakehouse 架构。

• 有关详细信息，请参阅 Delta Lake 文档。
• 请参阅快速入门指南以开始使用 Scala、Java 和 Python。
• 请注意，此存储库是 delta.io 组织中的众多 Delta Lake 存储库之一，包括 delta、delta-rs、delta-sharing、kafka-delta-ingest 和 website。

以下是一些比较流行的 Delta Lake 集成，请参阅 delta.io/integrations 以获取完整列表：

• Apache Spark™：此连接器允许 Apache Spark™ 读取和写入 Delta Lake。
• Apache Flink（预览版）：此连接器允许 Apache Flink 写入 Delta Lake。
• PrestoDB：此连接器允许 PrestoDB 从 Delta Lake 读取。
• Trino：此连接器允许 Trino 读取和写入 Delta Lake。
• Delta Standalone：该库允许基于 Scala 和 Java 的项目（包括 Apache Flink、Apache Hive、Apache Beam 和 PrestoDB）读取和写入 Delta Lake。
• Apache Hive：此连接器允许 Apache Hive 从 Delta Lake 读取数据。
• Delta Rust API：该库允许 Rust（带有 Python 和 Ruby 绑定）对 Delta 表进行低级访问，旨在与 datafusion、ballista、rust-dataframe、vega 等数据处理框架一起使用。

目录

• 最新的二进制文件
• API文档
• 兼容性
  • API兼容性
  • 数据存储兼容性
• 路线图
• 建筑
• 交易协议
• 对底层存储系统的要求
• 并发控制
• 报告问题
• 贡献
• 执照
• 社区

最新的二进制文件

请参阅最新版本的在线文档。

API文档

• Scala API 文档
• Java API 文档
• Python API 文档

兼容性

Delta Standalone 库是一个单节点 Java 库，可用于读取和写入 Delta 表。具体来说，该库提供了 API 来与事务日志中表的元数据进行交互，实现 Delta 事务日志协议以实现 Delta Lake 格式的事务保证。

API兼容性

Delta Lake 项目提供了两种类型的 API。

• 直接 Java/Scala/Python API - API 文档中记录的类和方法被视为稳定的公共 API。可以在代码中直接访问的所有其他类、接口、方法都被视为内部的，并且它们可能会在不同版本之间发生变化。
• 基于 Spark 的 API - 您可以通过DataFrameReader / Writer （即spark.read 、 df.write 、 spark.readStream和df.writeStream ）读取 Delta 表。这些 API 的选项将在 Delta Lake 的主要版本（例如 1.xx）中保持稳定。
• 请参阅在线文档，了解这些版本及其与 Apache Spark 版本的兼容性。

数据存储兼容性

Delta Lake 保证所有 Delta Lake 表的向后兼容性（即，较新版本的 Delta Lake 将始终能够读取旧版本 Delta Lake 写入的表）。但是，我们保留随着交易协议引入新功能而中断前向兼容性的权利（即旧版本的 Delta Lake 可能无法读取新版本生成的表）。

协议中的重大更改通过增加Protocol操作中的最低读取器/写入器版本来指示。

路线图

• 有关 Delta Lake 高级路线图，请参阅 Delta Lake 2022H1 路线图。
• 有关详细时间表，请参阅项目路线图。

交易协议

Delta 事务日志协议文档提供了事务协议的规范。

对底层存储系统的要求

Delta Lake ACID 保证基于存储系统的原子性和持久性保证。具体来说，我们要求存储系统提供以下内容。

1. 原子可见性：必须有一种方法可以使文件完全可见或根本不可见。
2. 互斥：只有一名写入者必须能够在最终目的地创建（或重命名）文件。
3. 一致的列表：将文件写入目录后，该目录的所有未来列表都必须返回该文件。

有关详细信息，请参阅有关存储配置的在线文档。

并发控制

Delta Lake 确保并发读写的可串行化。请参阅 Delta Lake 并发控制了解更多详细信息。

报告问题

我们使用 GitHub Issues 来跟踪社区报告的问题。您还可以联系社区以获得答案。

贡献

我们欢迎对 Delta Lake 做出贡献。请参阅我们的 CONTRIBUTING.md 了解更多详细信息。

我们还遵守 Delta Lake 行为准则。

建筑

Delta Lake 使用 SBT 编译。

编译，运行

 build/sbt compile

要生成工件，请运行

 build/sbt package

要执行测试，请运行

 build/sbt test

要执行单个测试套件，请运行

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

要在单个测试套件中执行单个测试，请运行

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

有关更多命令，请参阅 SBT 文档。

IntelliJ 设置

IntelliJ 是开发 Delta Lake 时推荐使用的 IDE。将 Delta Lake 导入为新项目：

1. 将 Delta Lake 克隆到例如~/delta中。
2. 在 IntelliJ 中，选择File > New Project > Project from Existing Sources...并选择~/delta 。
3. 在Import project from external model下选择sbt 。单击Next 。
4. 在Project JDK下指定有效的 Java 1.8 JDK 并选择使用 SBT shell 进行project reload和builds 。
5. 单击Finish 。

设置验证

等待 IntelliJ 建立索引后，通过在 IntelliJ 中运行测试套件来验证您的设置。

1. 搜索并打开DeltaLogSuite
2. 在类声明旁边，右键单击两个绿色箭头并选择Run 'DeltaLogSuite'

故障排除

如果您看到以下形式的错误

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

然后按照下列步骤操作：

1. 使用 SBT CLI 进行编译： build/sbt compile 。
2. 转到File > Project Structure... > Modules > delta-spark 。
3. 在右侧面板中的Source Folders下删除所有target文件夹，例如target/scala-2.12/src_managed/main [generated]
4. 单击Apply ，然后重新运行测试。

执照

Apache 许可证 2.0，请参阅许可证。

社区

Delta Lake 社区内有两种沟通媒介。

• 公共 Slack 频道
  • 在此注册
  • 在此登录
• 领英页面
• Youtube频道
• 公共邮件列表