delta

Delta Lake هو إطار تخزين مفتوح المصدر يتيح إنشاء بنية Lakehouse باستخدام محركات حوسبة تشمل Spark وPrestoDB وFlink وTrino وHive وواجهات برمجة التطبيقات لـ Scala وJava وRust وRuby وPython.

• راجع وثائق بحيرة دلتا للحصول على التفاصيل.
• راجع دليل البدء السريع للبدء في استخدام Scala وJava وPython.
• لاحظ أن هذا الريبو هو أحد مستودعات Delta Lake العديدة في مؤسسات delta.io بما في ذلك delta وdelta-rs وdelta-sharing وkafka-delta-ingest والموقع الإلكتروني.

فيما يلي بعض عمليات تكامل Delta Lake الأكثر شيوعًا، راجع delta.io/integrations للحصول على القائمة الكاملة:

• Apache Spark™: يسمح هذا الموصل لـ Apache Spark™ بالقراءة من Delta Lake والكتابة إليها.
• Apache Flink (معاينة): يسمح هذا الموصل لـ Apache Flink بالكتابة إلى Delta Lake.
• PrestoDB: يسمح هذا الموصل لـ PrestoDB بالقراءة من Delta Lake.
• Trino: يتيح هذا الموصل لـ Trino القراءة والكتابة إلى Delta Lake.
• Delta Standalone: ​​تسمح هذه المكتبة للمشروعات المستندة إلى Scala وJava (بما في ذلك Apache Flink وApache Hive وApache Beam وPrestoDB) بالقراءة من Delta Lake والكتابة إليها.
• Apache Hive: يسمح هذا الموصل لـ Apache Hive بالقراءة من Delta Lake.
• Delta Rust API: تتيح هذه المكتبة لـ Rust (مع ارتباطات Python وRuby) الوصول بمستوى منخفض إلى جداول Delta وهي مخصصة للاستخدام مع أطر معالجة البيانات مثل datafusion وballista وrust-dataframe وvega وما إلى ذلك.

جدول المحتويات

• أحدث الثنائيات
• وثائق واجهة برمجة التطبيقات
• التوافق
  • توافق واجهة برمجة التطبيقات
  • توافق تخزين البيانات
• خريطة الطريق
• مبنى
• بروتوكول المعاملات
• متطلبات أنظمة التخزين الأساسية
• التحكم في التزامن
• قضايا الإبلاغ
• المساهمة
• رخصة
• مجتمع

أحدث الثنائيات

راجع الوثائق عبر الإنترنت للحصول على أحدث إصدار.

وثائق واجهة برمجة التطبيقات

• مستندات Scala API
• مستندات جافا API
• مستندات واجهة برمجة تطبيقات بايثون

التوافق

مكتبة Delta المستقلة هي مكتبة Java ذات عقدة واحدة يمكن استخدامها للقراءة من جداول Delta والكتابة إليها. على وجه التحديد، توفر هذه المكتبة واجهات برمجة التطبيقات للتفاعل مع بيانات تعريف الجدول في سجل المعاملات، وتنفيذ بروتوكول Delta Transaction Log لتحقيق ضمانات المعاملات لتنسيق Delta Lake.

توافق واجهة برمجة التطبيقات

هناك نوعان من واجهات برمجة التطبيقات التي يقدمها مشروع دلتا ليك.

• واجهات برمجة تطبيقات Java/Scala/Python المباشرة - تعتبر الفئات والأساليب الموثقة في مستندات API بمثابة واجهات برمجة تطبيقات عامة مستقرة. جميع الفئات والواجهات والأساليب الأخرى التي يمكن الوصول إليها مباشرة في التعليمات البرمجية تعتبر داخلية، وهي عرضة للتغيير عبر الإصدارات.
• واجهات برمجة التطبيقات المستندة إلى Spark - يمكنك قراءة جداول Delta من خلال DataFrameReader / Writer (على سبيل المثال spark.read و df.write و spark.readStream و df.writeStream ). ستظل خيارات واجهات برمجة التطبيقات هذه مستقرة ضمن الإصدار الرئيسي من Delta Lake (على سبيل المثال، 1.xx).
• راجع الوثائق عبر الإنترنت للإصدارات وتوافقها مع إصدارات Apache Spark.

توافق تخزين البيانات

تضمن Delta Lake التوافق مع الإصدارات السابقة لجميع جداول Delta Lake (أي أن الإصدارات الأحدث من Delta Lake ستكون دائمًا قادرة على قراءة الجداول المكتوبة بواسطة الإصدارات الأقدم من Delta Lake). ومع ذلك، فإننا نحتفظ بالحق في تحقيق التوافق مع تقديم ميزات جديدة لبروتوكول المعاملة (على سبيل المثال، قد لا يتمكن الإصدار الأقدم من Delta Lake من قراءة جدول تم إنتاجه بواسطة إصدار أحدث).

تتم الإشارة إلى التغييرات الطارئة في البروتوكول عن طريق زيادة الحد الأدنى لإصدار القارئ/الكاتب في إجراء Protocol .

خريطة الطريق

• للحصول على خريطة طريق دلتا ليك عالية المستوى، راجع خارطة طريق دلتا ليك 2022H1.
• للحصول على الجدول الزمني التفصيلي، راجع خريطة طريق المشروع.

بروتوكول المعاملات

توفر وثيقة بروتوكول سجل معاملات دلتا مواصفات بروتوكول المعاملة.

متطلبات أنظمة التخزين الأساسية

تعتمد ضمانات Delta Lake ACID على ضمانات الذرية والمتانة لنظام التخزين. وعلى وجه التحديد، نطلب من نظام التخزين توفير ما يلي.

1. الرؤية الذرية : يجب أن تكون هناك طريقة ليكون الملف مرئيًا بالكامل أو غير مرئي على الإطلاق.
2. الاستبعاد المتبادل : يجب أن يكون كاتب واحد فقط قادرًا على إنشاء (أو إعادة تسمية) ملف في الوجهة النهائية.
3. القائمة المتسقة : بمجرد كتابة ملف في دليل، يجب أن تقوم جميع القوائم المستقبلية لهذا الدليل بإرجاع هذا الملف.

راجع الوثائق عبر الإنترنت حول تكوين التخزين للحصول على التفاصيل.

التحكم في التزامن

تضمن Delta Lake إمكانية التسلسل للقراءة والكتابة المتزامنة. يرجى الاطلاع على التحكم في التزامن في Delta Lake لمزيد من التفاصيل.

قضايا الإبلاغ

نحن نستخدم مشكلات GitHub لتتبع المشكلات التي أبلغ عنها المجتمع. يمكنك أيضًا الاتصال بالمجتمع للحصول على إجابات.

المساهمة

نحن نرحب بالمساهمات في بحيرة دلتا. راجع CONTRIBUTING.md لمزيد من التفاصيل.

نحن نلتزم أيضًا بمدونة قواعد السلوك الخاصة بشركة Delta Lake.

مبنى

يتم تجميع Delta Lake باستخدام SBT.

لتجميع وتشغيل

 build/sbt compile

لإنشاء القطع الأثرية، قم بتشغيل

 build/sbt package

لتنفيذ الاختبارات، قم بتشغيل

 build/sbt test

لتنفيذ مجموعة اختبار واحدة، قم بتشغيل

 build/sbt spark/'testOnly org.apache.spark.sql.delta.optimize.OptimizeCompactionSQLSuite'

لتنفيذ اختبار واحد داخل مجموعة اختبار واحدة، قم بتشغيل

 build/sbt spark/'testOnly *.OptimizeCompactionSQLSuite -- -z "optimize command: on partitioned table - all partitions"'

ارجع إلى مستندات SBT لمزيد من الأوامر.

إعداد IntelliJ

IntelliJ هو IDE الموصى باستخدامه عند تطوير Delta Lake. لاستيراد بحيرة الدلتا كمشروع جديد:

1. استنساخ بحيرة دلتا إلى، على سبيل المثال، ~/delta .
2. في IntelliJ، حدد File > New Project > Project from Existing Sources... وحدد ~/delta .
3. ضمن Import project from external model حدد sbt . انقر فوق Next .
4. ضمن Project JDK ، حدد Java 1.8 JDK صالحًا واختر استخدام SBT Shell لإعادة project reload builds .
5. انقر فوق Finish .

التحقق من الإعداد

بعد انتظار فهرسة IntelliJ، تحقق من الإعداد الخاص بك عن طريق تشغيل مجموعة اختبار في IntelliJ.

1. ابحث عن DeltaLogSuite وافتحه
2. بجوار إعلان الفصل الدراسي، انقر بزر الماوس الأيمن على السهمين الأخضرين وحدد Run 'DeltaLogSuite'

استكشاف الأخطاء وإصلاحها

إذا رأيت أخطاء في النموذج

 Error:(46, 28) object DeltaSqlBaseParser is not a member of package io.delta.sql.parser
import io.delta.sql.parser.DeltaSqlBaseParser._
...
Error:(91, 22) not found: type DeltaSqlBaseParser
    val parser = new DeltaSqlBaseParser(tokenStream)

ثم اتبع الخطوات التالية:

1. الترجمة باستخدام SBT CLI: build/sbt compile .
2. انتقل إلى File > Project Structure... > Modules > delta-spark .
3. في اللوحة اليمنى ضمن Source Folders قم بإزالة أي مجلدات target ، على سبيل المثال target/scala-2.12/src_managed/main [generated]
4. انقر فوق Apply ثم أعد تشغيل الاختبار.

رخصة

ترخيص أباتشي 2.0، راجع الترخيص.

مجتمع

هناك وسيلتان للاتصال داخل مجتمع دلتا ليك.

• قناة سلاك العامة
  • سجل هنا
  • تسجيل الدخول هنا
• صفحة ينكدين
• قناة يوتيوب
• القائمة البريدية العامة