delta

Delta Lake ist ein Open-Source-Speicherframework, das den Aufbau einer Lakehouse-Architektur mit Rechen-Engines wie Spark, PrestoDB, Flink, Trino und Hive sowie APIs für Scala, Java, Rust, Ruby und Python ermöglicht.

• Weitere Informationen finden Sie in der Delta Lake-Dokumentation.
• Informationen zum Einstieg in Scala, Java und Python finden Sie in der Kurzanleitung.
• Beachten Sie, dass dieses Repo eines von vielen Delta Lake-Repositories in den delta.io-Organisationen ist, einschließlich Delta, Delta-RS, Delta-Sharing, Kafka-Delta-Ingest und Website.

Im Folgenden sind einige der beliebtesten Delta-Lake-Integrationen aufgeführt. Die vollständige Liste finden Sie unter delta.io/integrations:

• Apache Spark™: Dieser Connector ermöglicht Apache Spark™ das Lesen und Schreiben in Delta Lake.
• Apache Flink (Vorschau): Dieser Connector ermöglicht Apache Flink das Schreiben in Delta Lake.
• PrestoDB: Dieser Connector ermöglicht PrestoDB das Lesen von Delta Lake.
• Trino: Dieser Connector ermöglicht es Trino, von Delta Lake zu lesen und darauf zu schreiben.
• Delta Standalone: ​​Mit dieser Bibliothek können Scala- und Java-basierte Projekte (einschließlich Apache Flink, Apache Hive, Apache Beam und PrestoDB) von Delta Lake lesen und darauf schreiben.
• Apache Hive: Dieser Connector ermöglicht Apache Hive das Lesen von Delta Lake.
• Delta Rust API: Diese Bibliothek ermöglicht Rust (mit Python- und Ruby-Bindungen) Low-Level-Zugriff auf Delta-Tabellen und ist für die Verwendung mit Datenverarbeitungs-Frameworks wie Datafusion, Ballista, Rust-Dataframe, Vega usw. vorgesehen.

Inhaltsverzeichnis

• Neueste Binärdateien
• API-Dokumentation
• Kompatibilität
  • API-Kompatibilität
  • Datenspeicherkompatibilität
• Roadmap
• Gebäude
• Transaktionsprotokoll
• Anforderungen an zugrunde liegende Speichersysteme
• Parallelitätskontrolle
• Probleme melden
• Mitwirken
• Lizenz
• Gemeinschaft

Neueste Binärdateien

Die neueste Version finden Sie in der Online-Dokumentation.

API-Dokumentation

• Scala-API-Dokumente
• Java-API-Dokumente
• Python-API-Dokumente

Kompatibilität

Die Delta Standalone-Bibliothek ist eine Einzelknoten-Java-Bibliothek, die zum Lesen und Schreiben in Delta-Tabellen verwendet werden kann. Insbesondere stellt diese Bibliothek APIs für die Interaktion mit den Metadaten einer Tabelle im Transaktionsprotokoll bereit und implementiert das Delta Transaction Log Protocol, um die Transaktionsgarantien des Delta Lake-Formats zu erreichen.

API-Kompatibilität

Das Delta Lake-Projekt stellt zwei Arten von APIs bereit.

• Direkte Java/Scala/Python-APIs – Die in den API-Dokumenten dokumentierten Klassen und Methoden gelten als stabile öffentliche APIs. Alle anderen Klassen, Schnittstellen und Methoden, auf die möglicherweise direkt im Code zugegriffen werden kann, gelten als intern und können sich in verschiedenen Versionen ändern.
• Spark-basierte APIs – Sie können Delta-Tabellen über den DataFrameReader / Writer lesen (d. h. spark.read , df.write , spark.readStream und df.writeStream ). Die Optionen dieser APIs bleiben innerhalb einer Hauptversion von Delta Lake (z. B. 1.xx) stabil.
• Informationen zu den Versionen und deren Kompatibilität mit Apache Spark-Versionen finden Sie in der Online-Dokumentation.

Datenspeicherkompatibilität

Delta Lake garantiert Abwärtskompatibilität für alle Delta Lake-Tabellen (dh neuere Versionen von Delta Lake können immer Tabellen lesen, die von älteren Versionen von Delta Lake geschrieben wurden). Wir behalten uns jedoch das Recht vor, die Kompatibilität zu unterbrechen, wenn neue Funktionen in das Transaktionsprotokoll eingeführt werden (z. B. kann eine ältere Version von Delta Lake möglicherweise eine von einer neueren Version erstellte Tabelle nicht lesen).

Wichtige Änderungen im Protokoll werden durch Erhöhen der minimalen Lese-/Schreibversion in der Protocol angezeigt.

Roadmap

• Die allgemeine Delta Lake-Roadmap finden Sie unter Delta Lake 2022H1-Roadmap.
• Den detaillierten Zeitplan finden Sie in der Projekt-Roadmap.

Transaktionsprotokoll

Das Delta Transaction Log Protocol-Dokument enthält eine Spezifikation des Transaktionsprotokolls.

Anforderungen an zugrunde liegende Speichersysteme

Die ACID-Garantien von Delta Lake basieren auf den Atomizitäts- und Haltbarkeitsgarantien des Speichersystems. Konkret verlangen wir vom Speichersystem Folgendes:

1. Atomare Sichtbarkeit : Es muss eine Möglichkeit geben, eine Datei vollständig oder gar nicht sichtbar zu machen.
2. Gegenseitiger Ausschluss : Nur ein Autor darf eine Datei am endgültigen Ziel erstellen (oder umbenennen) können.
3. Konsistente Auflistung : Sobald eine Datei in ein Verzeichnis geschrieben wurde, müssen alle zukünftigen Auflistungen für dieses Verzeichnis diese Datei zurückgeben.

Weitere Informationen finden Sie in der Online-Dokumentation zur Speicherkonfiguration.

Parallelitätskontrolle

Delta Lake stellt die Serialisierbarkeit für gleichzeitige Lese- und Schreibvorgänge sicher. Weitere Informationen finden Sie unter Delta Lake Concurrency Control.

Probleme melden

Wir verwenden GitHub Issues, um von der Community gemeldete Probleme zu verfolgen. Sie können sich auch an die Community wenden, um Antworten zu erhalten.

Mitwirken

Wir freuen uns über Spenden für Delta Lake. Weitere Informationen finden Sie auf unserer Seite CONTRIBUTING.md.

Wir halten uns außerdem an den Verhaltenskodex von Delta Lake.

Gebäude

Delta Lake wird mit SBT kompiliert.

Zum Kompilieren ausführen

 build/sbt compile

Führen Sie Folgendes aus, um Artefakte zu generieren

 build/sbt package

Um Tests auszuführen, führen Sie aus

 build/sbt test

Um eine einzelne Testsuite auszuführen, führen Sie Folgendes aus:

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

Um einen einzelnen Test innerhalb einer einzelnen Testsuite auszuführen, führen Sie Folgendes aus

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

Weitere Befehle finden Sie in der SBT-Dokumentation.

IntelliJ-Setup

IntelliJ ist die empfohlene IDE für die Entwicklung von Delta Lake. So importieren Sie Delta Lake als neues Projekt:

1. Klonen Sie Delta Lake beispielsweise in ~/delta .
2. Wählen Sie in IntelliJ File > New Project > Project from Existing Sources... und dann ~/delta aus.
3. Wählen Sie unter Import project from external model die Option sbt aus. Klicken Sie auf Next .
4. Geben Sie unter Project JDK ein gültiges Java 1.8 JDK an und entscheiden Sie sich für die Verwendung der SBT-Shell zum erneuten Laden und builds project reload .
5. Klicken Sie auf Finish .

Setup-Überprüfung

Nachdem Sie auf die Indizierung durch IntelliJ gewartet haben, überprüfen Sie Ihr Setup, indem Sie eine Testsuite in IntelliJ ausführen.

1. Suchen Sie nach DeltaLogSuite und öffnen Sie es
2. Klicken Sie neben der Klassendeklaration mit der rechten Maustaste auf die beiden grünen Pfeile und wählen Sie Run 'DeltaLogSuite'

Fehlerbehebung

Wenn Sie Fehler im Formular sehen

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

Folgen Sie dann diesen Schritten:

1. Kompilieren Sie mit der SBT-CLI: build/sbt compile .
2. Gehen Sie zu File > Project Structure... > Modules > delta-spark .
3. Entfernen Sie im rechten Bereich unter Source Folders alle target , z. B. target/scala-2.12/src_managed/main [generated]
4. Klicken Sie auf Apply und führen Sie dann Ihren Test erneut aus.

Lizenz

Apache-Lizenz 2.0, siehe LIZENZ.

Gemeinschaft

Innerhalb der Delta Lake-Gemeinschaft gibt es zwei Kommunikationsmedien.

• Öffentlicher Slack-Kanal
  • Registrieren Sie sich hier
  • Melden Sie sich hier an
• Linkedin-Seite
• Youtube-Kanal
• Öffentliche Mailingliste