delta 다운로드 - delta 소스 코드 다운로드

delta

기타 소스코드

Delta Lake 3.2.1

다운로드

Delta Lake는 Spark, PrestoDB, Flink, Trino, Hive 등의 컴퓨팅 엔진과 Scala, Java, Rust, Ruby, Python용 API를 사용하여 Lakehouse 아키텍처를 구축할 수 있는 오픈 소스 스토리지 프레임워크입니다.

자세한 내용은 Delta Lake 설명서를 참조하세요.
Scala, Java 및 Python을 시작하려면 빠른 시작 가이드를 참조하세요.
이 리포지토리는 delta, delta-rs, delta-sharing, kafka-delta-ingest 및 웹 사이트를 포함하여 delta.io 조직의 많은 Delta Lake 리포지토리 중 하나입니다.

다음은 가장 널리 사용되는 Delta Lake 통합 중 일부입니다. 전체 목록은 delta.io/integrations를 참조하세요.

Apache Spark™: 이 커넥터를 사용하면 Apache Spark™가 Delta Lake에서 읽고 쓸 수 있습니다.
Apache Flink(미리 보기): 이 커넥터를 사용하면 Apache Flink가 Delta Lake에 쓸 수 있습니다.
PrestoDB: 이 커넥터를 사용하면 PrestoDB가 Delta Lake에서 읽을 수 있습니다.
Trino: 이 커넥터를 사용하면 Trino가 Delta Lake에서 읽고 쓸 수 있습니다.
Delta Standalone: 이 라이브러리를 사용하면 Scala 및 Java 기반 프로젝트(Apache Flink, Apache Hive, Apache Beam 및 PrestoDB 포함)가 Delta Lake에서 읽고 쓸 수 있습니다.
Apache Hive: 이 커넥터를 사용하면 Apache Hive가 Delta Lake에서 읽을 수 있습니다.
Delta Rust API: 이 라이브러리는 Rust(Python 및 Ruby 바인딩 포함)가 Delta 테이블에 대한 낮은 수준의 액세스를 허용하며 datafusion, ballista, Rust-dataframe, vega 등과 같은 데이터 처리 프레임워크와 함께 사용하도록 고안되었습니다.

최신 바이너리
API 문서
호환성
- API 호환성
- 데이터 저장 호환성
로드맵
건물
거래 프로토콜
기본 스토리지 시스템에 대한 요구 사항
동시성 제어
문제 보고
기여
특허
지역 사회

API 문서

스칼라 API 문서
자바 API 문서
Python API 문서

호환성

Delta Standalone 라이브러리는 Delta 테이블을 읽고 쓰는 데 사용할 수 있는 단일 노드 Java 라이브러리입니다. 특히 이 라이브러리는 트랜잭션 로그에서 테이블의 메타데이터와 상호 작용하는 API를 제공하여 Delta Lake 형식의 트랜잭션 보장을 달성하기 위해 Delta 트랜잭션 로그 프로토콜을 구현합니다.

API 호환성

Delta Lake 프로젝트에서 제공하는 API에는 두 가지 유형이 있습니다.

직접 Java/Scala/Python API - API 문서에 문서화된 클래스와 메서드는 안정적인 공개 API로 간주됩니다. 코드에서 직접 액세스할 수 있는 다른 모든 클래스, 인터페이스, 메서드는 내부로 간주되며 릴리스에 따라 변경될 수 있습니다.
Spark 기반 API - DataFrameReader / Writer (예: spark.read , df.write , spark.readStream 및 df.writeStream )를 통해 Delta 테이블을 읽을 수 있습니다. 이러한 API에 대한 옵션은 Delta Lake의 주요 릴리스(예: 1.xx) 내에서 안정적으로 유지됩니다.
릴리스 및 Apache Spark 버전과의 호환성에 대한 온라인 설명서를 참조하세요.

데이터 저장 호환성

Delta Lake는 모든 Delta Lake 테이블에 대한 이전 버전과의 호환성을 보장합니다. 즉, 최신 버전의 Delta Lake는 항상 이전 버전의 Delta Lake에서 작성된 테이블을 읽을 수 있습니다. 그러나 우리는 트랜잭션 프로토콜에 새로운 기능이 도입됨에 따라 호환성을 깰 수 있는 권리를 보유합니다(즉, 이전 버전의 Delta Lake는 최신 버전에서 생성된 테이블을 읽지 못할 수 있습니다).

프로토콜의 주요 변경 사항은 Protocol 작업에서 최소 판독기/작성기 버전을 증가시켜 표시됩니다.

로드맵

대략적인 Delta Lake 로드맵은 Delta Lake 2022H1 로드맵을 참조하세요.
자세한 일정은 프로젝트 로드맵을 참조하세요.

거래 프로토콜

Delta Transaction Log Protocol 문서는 트랜잭션 프로토콜의 사양을 제공합니다.

기본 스토리지 시스템에 대한 요구 사항

Delta Lake ACID 보장은 스토리지 시스템의 원자성 및 내구성 보장을 전제로 합니다. 특히 스토리지 시스템은 다음을 제공해야 합니다.

원자적 가시성 : 파일 전체가 표시되거나 전혀 표시되지 않는 방법이 있어야 합니다.
상호 배제 : 최종 대상에서는 오직 한 명의 작성자만이 파일을 생성(또는 이름 변경)할 수 있어야 합니다.
일관된 목록 : 파일이 디렉터리에 기록되면 해당 디렉터리에 대한 모든 향후 목록은 해당 파일을 반환해야 합니다.

자세한 내용은 스토리지 구성에 대한 온라인 설명서를 참조하세요.

동시성 제어

Delta Lake는 동시 읽기 및 쓰기에 대한 직렬성을 보장합니다. 자세한 내용은 Delta Lake 동시성 제어를 참조하세요.

문제 보고

우리는 GitHub 문제를 사용하여 커뮤니티에 보고된 문제를 추적합니다. 답변을 얻기 위해 커뮤니티에 문의할 수도 있습니다.

기여

Delta Lake에 대한 기여를 환영합니다. 자세한 내용은 CONTRIBUTING.md를 참조하세요.

우리는 또한 Delta Lake 행동 강령을 준수합니다.

건물

Delta Lake는 SBT를 사용하여 컴파일됩니다.

컴파일하려면 다음을 실행하세요.

 build/sbt compile

아티팩트를 생성하려면 다음을 실행하세요.

 build/sbt package

테스트를 실행하려면 다음을 실행하세요.

 build/sbt test

단일 테스트 스위트를 실행하려면 다음을 실행하십시오.

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

단일 테스트 스위트 내에서 단일 테스트를 실행하려면 다음을 실행하십시오.

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

자세한 명령은 SBT 문서를 참조하세요.

IntelliJ 설정

IntelliJ는 Delta Lake를 개발할 때 사용하도록 권장되는 IDE입니다. Delta Lake를 새 프로젝트로 가져오려면 다음 안내를 따르세요.

예를 들어 ~/delta 에 Delta Lake를 복제합니다.
IntelliJ에서 File > New Project > Project from Existing Sources... 선택하고 ~/delta 선택합니다.
Import project from external model 에서 sbt 선택합니다. Next 클릭합니다.
Project JDK 에서 유효한 Java 1.8 JDK를 지정하고 project reload 및 builds 에 SBT 셸을 사용하도록 선택합니다.
Finish 클릭합니다.

설정 확인

IntelliJ가 색인을 생성할 때까지 기다린 후 IntelliJ에서 테스트 도구 모음을 실행하여 설정을 확인하세요.

DeltaLogSuite 검색 및 열기
클래스 선언 옆에 있는 두 개의 녹색 화살표를 마우스 오른쪽 버튼으로 클릭하고 Run 'DeltaLogSuite' 선택합니다.

문제 해결

양식에 오류가 있는 경우

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

그런 다음 다음 단계를 따르세요.

SBT CLI를 사용하여 컴파일: build/sbt compile .
File > Project Structure... > Modules > delta-spark 로 이동합니다.
Source Folders 아래 오른쪽 패널에서 target 폴더(예: target/scala-2.12/src_managed/main [generated] 를 제거합니다.
Apply 클릭한 후 테스트를 다시 실행하세요.