download delta - download do código-fonte delta

delta

Outro código-fonte

Delta Lake 3.2.1

Baixar

Delta Lake é uma estrutura de armazenamento de código aberto que permite construir uma arquitetura Lakehouse com mecanismos de computação, incluindo Spark, PrestoDB, Flink, Trino e Hive e APIs para Scala, Java, Rust, Ruby e Python.

Consulte a documentação do Delta Lake para obter detalhes.
Consulte o Guia de início rápido para começar a usar Scala, Java e Python.
Observe que este repositório é um dos muitos repositórios Delta Lake nas organizações delta.io, incluindo delta, delta-rs, delta-sharing, kafka-delta-ingest e website.

A seguir estão algumas das integrações mais populares do Delta Lake. Consulte delta.io/integrations para obter a lista completa:

Apache Spark™: Este conector permite que o Apache Spark™ leia e grave no Delta Lake.
Apache Flink (pré-visualização): este conector permite que o Apache Flink grave no Delta Lake.
PrestoDB: Este conector permite que o PrestoDB leia do Delta Lake.
Trino: Este conector permite que Trino leia e grave em Delta Lake.
Delta Standalone: Esta biblioteca permite que projetos baseados em Scala e Java (incluindo Apache Flink, Apache Hive, Apache Beam e PrestoDB) leiam e gravem em Delta Lake.
Apache Hive: Este conector permite que o Apache Hive leia do Delta Lake.
API Delta Rust: Esta biblioteca permite acesso de baixo nível do Rust (com ligações Python e Ruby) às tabelas Delta e deve ser usada com estruturas de processamento de dados como datafusion, balista, ferrugem-dataframe, vega, etc.

Índice

Binários mais recentes
Documentação da API
Compatibilidade
- Compatibilidade de API
- Compatibilidade de armazenamento de dados
Roteiro
Prédio
Protocolo de transação
Requisitos para sistemas de armazenamento subjacentes
Controle de simultaneidade
Relatando problemas
Contribuindo
Licença
Comunidade

Binários mais recentes

Consulte a documentação on-line para a versão mais recente.

Documentação da API

Documentos da API Scala
Documentos da API Java
Documentos da API Python

Compatibilidade

A biblioteca Delta Standalone é uma biblioteca Java de nó único que pode ser usada para ler e gravar em tabelas Delta. Especificamente, esta biblioteca fornece APIs para interagir com os metadados de uma tabela no log de transações, implementando o protocolo Delta Transaction Log para obter as garantias transacionais do formato Delta Lake.

Compatibilidade de API

Existem dois tipos de APIs fornecidas pelo projeto Delta Lake.

APIs Java/Scala/Python diretas - As classes e métodos documentados nos documentos da API são considerados APIs públicas estáveis. Todas as outras classes, interfaces e métodos que podem ser diretamente acessíveis no código são considerados internos e estão sujeitos a alterações entre versões.
APIs baseadas em Spark - Você pode ler tabelas Delta por meio do DataFrameReader / Writer (ou seja, spark.read , df.write , spark.readStream e df.writeStream ). As opções para essas APIs permanecerão estáveis em uma versão principal do Delta Lake (por exemplo, 1.xx).
Consulte a documentação online para os lançamentos e sua compatibilidade com as versões do Apache Spark.

Compatibilidade de armazenamento de dados

Delta Lake garante compatibilidade retroativa para todas as tabelas Delta Lake (ou seja, versões mais recentes do Delta Lake sempre serão capazes de ler tabelas escritas por versões mais antigas do Delta Lake). No entanto, reservamo-nos o direito de interromper a compatibilidade à medida que novos recursos são introduzidos no protocolo de transação (ou seja, uma versão mais antiga do Delta Lake pode não ser capaz de ler uma tabela produzida por uma versão mais recente).

As alterações significativas no protocolo são indicadas pelo incremento da versão mínima do leitor/gravador na ação Protocol .

Roteiro

Para obter o roteiro de alto nível do Delta Lake, consulte o roteiro do Delta Lake 2022H1.
Para obter o cronograma detalhado, consulte o roteiro do projeto.

Protocolo de transação

O documento Delta Transaction Log Protocol fornece uma especificação do protocolo de transação.

Requisitos para sistemas de armazenamento subjacentes

As garantias Delta Lake ACID baseiam-se nas garantias de atomicidade e durabilidade do sistema de armazenamento. Especificamente, exigimos que o sistema de armazenamento forneça o seguinte.

Visibilidade atômica : deve haver uma maneira de um arquivo ficar visível em sua totalidade ou nem sequer visível.
Exclusão mútua : Apenas um escritor deve ser capaz de criar (ou renomear) um arquivo no destino final.
Listagem consistente : depois que um arquivo for gravado em um diretório, todas as listagens futuras desse diretório deverão retornar esse arquivo.

Consulte a documentação on-line sobre Configuração de armazenamento para obter detalhes.

Controle de simultaneidade

Delta Lake garante serialização para leituras e gravações simultâneas. Consulte Controle de simultaneidade Delta Lake para obter mais detalhes.

Relatando problemas

Usamos GitHub Issues para rastrear problemas relatados pela comunidade. Você também pode entrar em contato com a comunidade para obter respostas.

Contribuindo

Aceitamos contribuições para Delta Lake. Veja nosso CONTRIBUTING.md para mais detalhes.

Também aderimos ao Código de Conduta Delta Lake.

Prédio

Delta Lake é compilado usando SBT.

Para compilar, execute

 build/sbt compile

Para gerar artefatos, execute

 build/sbt package

Para executar testes, execute

 build/sbt test

Para executar um único conjunto de testes, execute

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

Para executar um único teste dentro de um único conjunto de testes, execute

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

Consulte a documentação do SBT para obter mais comandos.

Configuração do IntelliJ

IntelliJ é o IDE recomendado para uso no desenvolvimento de Delta Lake. Para importar Delta Lake como um novo projeto:

Clone Delta Lake em, por exemplo, ~/delta .
No IntelliJ, selecione File > New Project > Project from Existing Sources... e selecione ~/delta .
Em Import project from external model selecione sbt . Clique em Next .
No Project JDK especifique um Java 1.8 JDK válido e opte por usar o shell SBT para project reload e builds o projeto.
Clique em Finish .

Verificação de configuração

Depois de aguardar a indexação do IntelliJ, verifique sua configuração executando um conjunto de testes no IntelliJ.

Procure e abra DeltaLogSuite
Ao lado da declaração da classe, clique com o botão direito nas duas setas verdes e selecione Run 'DeltaLogSuite'

Solução de problemas

Se você vir erros no formulário

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

em seguida, siga estas etapas:

Compile usando a CLI do SBT: build/sbt compile .
Vá para File > Project Structure... > Modules > delta-spark .
No painel direito, em Source Folders remova todas as pastas target , por exemplo, target/scala-2.12/src_managed/main [generated]
Clique em Apply e execute novamente o teste.