delta

Delta Lake es un marco de almacenamiento de código abierto que permite construir una arquitectura Lakehouse con motores informáticos que incluyen Spark, PrestoDB, Flink, Trino y Hive y API para Scala, Java, Rust, Ruby y Python.

• Consulte la documentación de Delta Lake para obtener más detalles.
• Consulte la Guía de inicio rápido para comenzar con Scala, Java y Python.
• Tenga en cuenta que este repositorio es uno de los muchos repositorios de Delta Lake en las organizaciones delta.io, incluidos delta, delta-rs, delta-sharing, kafka-delta-ingest y sitio web.

Las siguientes son algunas de las integraciones de Delta Lake más populares; consulte delta.io/integrations para obtener la lista completa:

• Apache Spark™: este conector permite que Apache Spark™ lea y escriba en Delta Lake.
• Apache Flink (versión preliminar): este conector permite que Apache Flink escriba en Delta Lake.
• PrestoDB: este conector permite a PrestoDB leer desde Delta Lake.
• Trino: este conector permite a Trino leer y escribir en Delta Lake.
• Delta Standalone: ​​esta biblioteca permite que proyectos basados ​​en Scala y Java (incluidos Apache Flink, Apache Hive, Apache Beam y PrestoDB) lean y escriban en Delta Lake.
• Apache Hive: este conector permite que Apache Hive lea desde Delta Lake.
• API Delta Rust: esta biblioteca permite a Rust (con enlaces de Python y Ruby) acceso de bajo nivel a las tablas Delta y está diseñada para usarse con marcos de procesamiento de datos como datafusion, ballista, rust-dataframe, vega, etc.

Tabla de contenido

• Últimos binarios
• Documentación API
• Compatibilidad
  • Compatibilidad API
  • Compatibilidad de almacenamiento de datos
• Hoja de ruta
• Edificio
• Protocolo de transacción
• Requisitos para los sistemas de almacenamiento subyacentes
• Control de concurrencia
• Informar problemas
• Contribuyendo
• Licencia
• Comunidad

Últimos binarios

Consulte la documentación en línea para conocer la última versión.

Documentación API

• Documentos de la API de Scala
• Documentos de la API de Java
• Documentos de la API de Python

Compatibilidad

La biblioteca independiente Delta es una biblioteca Java de un solo nodo que se puede utilizar para leer y escribir en tablas Delta. Específicamente, esta biblioteca proporciona API para interactuar con los metadatos de una tabla en el registro de transacciones, implementando el Protocolo de registro de transacciones Delta para lograr las garantías transaccionales del formato Delta Lake.

Compatibilidad API

Hay dos tipos de API proporcionadas por el proyecto Delta Lake.

• API directas de Java/Scala/Python: las clases y métodos documentados en los documentos de la API se consideran API públicas estables. Todas las demás clases, interfaces y métodos a los que se puede acceder directamente en el código se consideran internos y están sujetos a cambios entre versiones.
• API basadas en Spark: puede leer tablas Delta a través de DataFrameReader / Writer (es decir, spark.read , df.write , spark.readStream y df.writeStream ). Las opciones para estas API permanecerán estables en una versión importante de Delta Lake (por ejemplo, 1.xx).
• Consulte la documentación en línea para conocer las versiones y su compatibilidad con las versiones de Apache Spark.

Compatibilidad de almacenamiento de datos

Delta Lake garantiza compatibilidad con versiones anteriores de todas las tablas de Delta Lake (es decir, las versiones más nuevas de Delta Lake siempre podrán leer tablas escritas en versiones anteriores de Delta Lake). Sin embargo, nos reservamos el derecho de interrumpir la compatibilidad a medida que se introducen nuevas funciones en el protocolo de transacciones (es decir, es posible que una versión anterior de Delta Lake no pueda leer una tabla producida por una versión más nueva).

Los cambios importantes en el protocolo se indican incrementando la versión mínima del lector/escritor en la acción Protocol .

Hoja de ruta

• Para conocer la hoja de ruta de alto nivel de Delta Lake, consulte la hoja de ruta de Delta Lake 2022H1.
• Para conocer el cronograma detallado, consulte la hoja de ruta del proyecto.

Protocolo de transacción

El documento Delta Transaction Log Protocol proporciona una especificación del protocolo de transacción.

Requisitos para los sistemas de almacenamiento subyacentes

Las garantías de Delta Lake ACID se basan en las garantías de atomicidad y durabilidad del sistema de almacenamiento. Específicamente, requerimos que el sistema de almacenamiento proporcione lo siguiente.

1. Visibilidad atómica : debe haber una manera de que un archivo sea visible en su totalidad o no sea visible en absoluto.
2. Exclusión mutua : solo un escritor debe poder crear (o cambiar el nombre) de un archivo en el destino final.
3. Listado coherente : una vez que se ha escrito un archivo en un directorio, todos los listados futuros de ese directorio deben devolver ese archivo.

Consulte la documentación en línea sobre Configuración de almacenamiento para obtener más detalles.

Control de concurrencia

Delta Lake garantiza la serialización para lecturas y escrituras simultáneas. Consulte Control de concurrencia de Delta Lake para obtener más detalles.

Informar problemas

Usamos GitHub Issues para rastrear los problemas reportados por la comunidad. También puede ponerse en contacto con la comunidad para obtener respuestas.

Contribuyendo

Damos la bienvenida a las contribuciones a Delta Lake. Consulte nuestro CONTRIBUTING.md para obtener más detalles.

También cumplimos con el Código de conducta de Delta Lake.

Edificio

Delta Lake se compila utilizando SBT.

Para compilar, ejecute

 build/sbt compile

Para generar artefactos, ejecute

 build/sbt package

Para ejecutar pruebas, ejecute

 build/sbt test

Para ejecutar un único conjunto de pruebas, ejecute

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

Para ejecutar una única prueba dentro de un único conjunto de pruebas, ejecute

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

Consulte los documentos de SBT para obtener más comandos.

Configuración de IntelliJ

IntelliJ es el IDE recomendado para usar al desarrollar Delta Lake. Para importar Delta Lake como un nuevo proyecto:

1. Clonar Delta Lake en, por ejemplo, ~/delta .
2. En IntelliJ, seleccione File > New Project > Project from Existing Sources... y seleccione ~/delta .
3. En Import project from external model seleccione sbt . Haga clic Next .
4. En Project JDK especifique un JDK Java 1.8 válido y opte por utilizar el shell SBT para la recarga y builds project reload .
5. Haga clic en Finish .

Verificación de configuración

Después de esperar a que IntelliJ se indexe, verifique su configuración ejecutando un conjunto de pruebas en IntelliJ.

1. Busque y abra DeltaLogSuite
2. Junto a la declaración de clase, haga clic derecho en las dos flechas verdes y seleccione Run 'DeltaLogSuite'

Solución de problemas

Si ve errores en el formulario

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

luego sigue estos pasos:

1. Compile usando la CLI de SBT: build/sbt compile .
2. Vaya a File > Project Structure... > Modules > delta-spark .
3. En el panel derecho, debajo de Source Folders elimine las carpetas target , por ejemplo, target/scala-2.12/src_managed/main [generated]
4. Haga clic en Apply y luego vuelva a ejecutar la prueba.

Licencia

Licencia Apache 2.0, ver LICENCIA.

Comunidad

Hay dos medios de comunicación dentro de la comunidad de Delta Lake.

• Canal público flojo
  • Regístrate aquí
  • Inicia sesión aquí
• página de linkedin
• canal de youtube
• Lista de correo pública