delta

Delta Lake est un framework de stockage open source qui permet de créer une architecture Lakehouse avec des moteurs de calcul tels que Spark, PrestoDB, Flink, Trino et Hive et des API pour Scala, Java, Rust, Ruby et Python.

• Consultez la documentation de Delta Lake pour plus de détails.
• Consultez le Guide de démarrage rapide pour démarrer avec Scala, Java et Python.
• Notez que ce référentiel est l'un des nombreux référentiels Delta Lake des organisations delta.io, notamment delta, delta-rs, delta-sharing, kafka-delta-ingest et website.

Voici quelques-unes des intégrations Delta Lake les plus populaires. Reportez-vous à delta.io/integrations pour la liste complète :

• Apache Spark™ : ce connecteur permet à Apache Spark™ de lire et d'écrire sur Delta Lake.
• Apache Flink (Aperçu) : ce connecteur permet à Apache Flink d'écrire sur Delta Lake.
• PrestoDB : ce connecteur permet à PrestoDB de lire depuis Delta Lake.
• Trino : ce connecteur permet à Trino de lire et d'écrire sur Delta Lake.
• Delta Standalone : cette bibliothèque permet aux projets basés sur Scala et Java (notamment Apache Flink, Apache Hive, Apache Beam et PrestoDB) de lire et d'écrire dans Delta Lake.
• Apache Hive : ce connecteur permet à Apache Hive de lire depuis Delta Lake.
• API Delta Rust : cette bibliothèque permet à Rust (avec les liaisons Python et Ruby) un accès de bas niveau aux tables Delta et est destinée à être utilisée avec des frameworks de traitement de données comme datafusion, ballista, rust-dataframe, vega, etc.

Table des matières

• Derniers binaires
• Documentation API
• Compatibilité
  • Compatibilité API
  • Compatibilité du stockage des données
• Feuille de route
• Bâtiment
• Protocole de transaction
• Exigences pour les systèmes de stockage sous-jacents
• Contrôle de concurrence
• Problèmes de signalement
• Contribuer
• Licence
• Communauté

Derniers binaires

Consultez la documentation en ligne pour connaître la dernière version.

Documentation API

• Documentation sur l'API Scala
• Documentation sur l'API Java
• Documentation sur l'API Python

Compatibilité

La bibliothèque Delta Standalone est une bibliothèque Java à nœud unique qui peut être utilisée pour lire et écrire dans les tables Delta. Plus précisément, cette bibliothèque fournit des API pour interagir avec les métadonnées d'une table dans le journal des transactions, en implémentant le protocole Delta Transaction Log pour obtenir les garanties transactionnelles du format Delta Lake.

Compatibilité API

Il existe deux types d'API fournis par le projet Delta Lake.

• API Java/Scala/Python directes : les classes et méthodes documentées dans la documentation de l'API sont considérées comme des API publiques stables. Toutes les autres classes, interfaces et méthodes pouvant être directement accessibles dans le code sont considérées comme internes et sont susceptibles de changer d’une version à l’autre.
• API basées sur Spark - Vous pouvez lire les tables Delta via DataFrameReader / Writer (c'est-à-dire spark.read , df.write , spark.readStream et df.writeStream ). Les options de ces API resteront stables dans une version majeure de Delta Lake (par exemple, 1.xx).
• Consultez la documentation en ligne pour connaître les versions et leur compatibilité avec les versions d'Apache Spark.

Compatibilité du stockage des données

Delta Lake garantit une compatibilité ascendante pour toutes les tables de Delta Lake (c'est-à-dire que les versions plus récentes de Delta Lake pourront toujours lire les tables écrites par des versions plus anciennes de Delta Lake). Cependant, nous nous réservons le droit de modifier la compatibilité à mesure que de nouvelles fonctionnalités sont introduites dans le protocole de transaction (c'est-à-dire qu'une ancienne version de Delta Lake peut ne pas être en mesure de lire un tableau produit par une version plus récente).

Les changements importants dans le protocole sont indiqués en incrémentant la version minimale du lecteur/enregistreur dans l'action Protocol .

Feuille de route

• Pour la feuille de route de haut niveau de Delta Lake, voir la feuille de route de Delta Lake 2022H1.
• Pour le calendrier détaillé, consultez la feuille de route du projet.

Protocole de transaction

Le document Delta Transaction Log Protocol fournit une spécification du protocole de transaction.

Exigences pour les systèmes de stockage sous-jacents

Les garanties Delta Lake ACID reposent sur les garanties d’atomicité et de durabilité du système de stockage. Plus précisément, nous exigeons que le système de stockage fournisse les éléments suivants.

1. Visibilité atomique : Il doit y avoir un moyen pour qu'un fichier soit visible dans son intégralité ou ne soit pas visible du tout.
2. Exclusion mutuelle : Un seul rédacteur doit pouvoir créer (ou renommer) un fichier à la destination finale.
3. Listage cohérent : Une fois qu'un fichier a été écrit dans un répertoire, tous les futurs listings de ce répertoire doivent renvoyer ce fichier.

Consultez la documentation en ligne sur la configuration du stockage pour plus de détails.

Contrôle de concurrence

Delta Lake garantit la sérialisabilité pour les lectures et écritures simultanées. Veuillez consulter le contrôle de concurrence de Delta Lake pour plus de détails.

Problèmes de signalement

Nous utilisons les problèmes GitHub pour suivre les problèmes signalés par la communauté. Vous pouvez également contacter la communauté pour obtenir des réponses.

Contribuer

Nous apprécions les contributions à Delta Lake. Consultez notre CONTRIBUTING.md pour plus de détails.

Nous adhérons également au code de conduite de Delta Lake.

Bâtiment

Delta Lake est compilé à l'aide de SBT.

Pour compiler, exécutez

 build/sbt compile

Pour générer des artefacts, exécutez

 build/sbt package

Pour exécuter des tests, exécutez

 build/sbt test

Pour exécuter une seule suite de tests, exécutez

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

Pour exécuter un seul test dans une seule suite de tests, exécutez

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

Reportez-vous à la documentation SBT pour plus de commandes.

Configuration IntelliJ

IntelliJ est l'IDE recommandé à utiliser lors du développement de Delta Lake. Pour importer Delta Lake en tant que nouveau projet :

1. Clonez Delta Lake dans, par exemple, ~/delta .
2. Dans IntelliJ, sélectionnez File > New Project > Project from Existing Sources... et sélectionnez ~/delta .
3. Sous Import project from external model sélectionnez sbt . Cliquez sur Next .
4. Sous Project JDK spécifiez un JDK Java 1.8 valide et choisissez d'utiliser le shell SBT pour le rechargement et builds project reload .
5. Cliquez sur Finish .

Vérification de la configuration

Après avoir attendu l'indexation d'IntelliJ, vérifiez votre configuration en exécutant une suite de tests dans IntelliJ.

1. Recherchez et ouvrez DeltaLogSuite
2. À côté de la déclaration de classe, faites un clic droit sur les deux flèches vertes et sélectionnez Run 'DeltaLogSuite'

Dépannage

Si vous voyez des erreurs du formulaire

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

puis suivez ces étapes :

1. Compilez à l’aide de la CLI SBT : build/sbt compile .
2. Accédez à File > Project Structure... > Modules > delta-spark .
3. Dans le panneau de droite, sous Source Folders supprimez tous les dossiers target , par exemple target/scala-2.12/src_managed/main [generated]
4. Cliquez sur Apply , puis réexécutez votre test.

Licence

Licence Apache 2.0, voir LICENCE.

Communauté

Il existe deux moyens de communication au sein de la communauté de Delta Lake.

• Chaîne publique Slack
  • Inscrivez-vous ici
  • Connectez-vous ici
• Page Linkedin
• chaîne YouTube
• Liste de diffusion publique