الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

أباتشي داتا فيوجن

الموقع | مستندات API | محادثة

شعار

DataFusion هو محرك استعلام قابل للتوسيع مكتوب بلغة Rust ويستخدم Apache Arrow كتنسيق في الذاكرة.

يوفر هذا الصندوق مكتبات وثنائيات للمطورين الذين ينشئون قاعدة بيانات وأنظمة تحليلية سريعة وتتميز بقاعدة بيانات غنية، ومخصصة لأحمال عمل معينة. راجع حالات الاستخدام للحصول على أمثلة. تستهدف المشاريع الفرعية ذات الصلة التالية المستخدمين النهائيين:

  • يقدم DataFusion Python واجهة Python لاستعلامات SQL وDataFrame.
  • يوفر DataFusion Ray نسخة موزعة من DataFusion التي تتوسع على مجموعات Ray.
  • يعد DataFusion Comet بمثابة مسرع لـ Apache Spark استنادًا إلى DataFusion.

تقدم DataFusion "خارج الصندوق" واجهات برمجة تطبيقات [SQL] و[ Dataframe ] وأداء ممتاز ودعمًا مدمجًا لملفات CSV وParquet وJSON وAvro وتخصيصًا شاملاً ومجتمعًا رائعًا.

يتميز DataFusion بمخطط استعلام كامل، ومحرك تنفيذ عمودي، ومتدفق، ومتعدد الخيوط، ومتجه، ومصادر بيانات مقسمة. يمكنك تخصيص DataFusion في جميع النقاط تقريبًا بما في ذلك مصادر البيانات الإضافية ولغات الاستعلام والوظائف وعوامل التشغيل المخصصة والمزيد. راجع قسم الهندسة المعمارية لمزيد من التفاصيل.

فيما يلي روابط لبعض المعلومات الهامة

  • موقع المشروع
  • تثبيت
  • الصدأ البدء
  • واجهة برمجة تطبيقات Rust DataFrame
  • مستندات واجهة برمجة تطبيقات الصدأ
  • أمثلة الصدأ
  • واجهة برمجة تطبيقات Python DataFrame
  • بنيان

ماذا يمكنك أن تفعل بهذا الصندوق؟

يعد DataFusion رائعًا لبناء المشاريع مثل محركات الاستعلام الخاصة بالمجال ومنصات قواعد البيانات الجديدة وخطوط أنابيب البيانات ولغات الاستعلام والمزيد. فهو يتيح لك البدء سريعًا من محرك يعمل بكامل طاقته، ثم تخصيص تلك الميزات الخاصة باستخدامك. انقر هنا لرؤية قائمة المستخدمين المعروفين.

المساهمة في DataFusion

يرجى الاطلاع على دليل المساهمين وصفحات الاتصال لمزيد من المعلومات.

مميزات الصندوق

يحتوي هذا الصندوق على العديد من الميزات التي يمكن تحديدها في Cargo.toml الخاص بك.

الميزات الافتراضية:

  • nested_expressions : وظائف للعمل مع دالة الكتابة المتداخلة مثل array_to_string
  • compression : قراءة الملفات المضغوطة باستخدام xz2 و bzip2 و flate2 و zstd
  • crypto_expressions : وظائف التشفير مثل md5 و sha256
  • datetime_expressions : وظائف التاريخ والوقت مثل to_timestamp
  • encoding_expressions : وظائف encode decode
  • parquet : دعم قراءة تنسيق Apache Parquet
  • regex_expressions : وظائف التعبير العادي، مثل regexp_match
  • unicode_expressions : تضمين وظائف مدركة لليونيكود مثل character_length
  • unparser : يتيح الدعم لعكس LogicalPlans مرة أخرى إلى SQL

الميزات الاختيارية:

  • avro : دعم قراءة تنسيق Apache Avro
  • backtrace : تضمين معلومات backtrace في رسائل الخطأ
  • pyarrow : التحويلات بين أنواع PyArrow وDataFusion
  • serde : تمكين ميزة serde الخاصة بمخطط السهم

سياسة توافق إصدار الصدأ

يتم تتبع إصدارات سلسلة أدوات Rust في إصدارات Rust وتتبع الإصدارات الدلالية. يمكن التعرف على إصدار سلسلة أدوات Rust من خلال سلسلة إصدار مثل 1.80.0 ، أو بشكل عام major.minor.patch .

يدعم DataFusion آخر 4 إصدارات ثابتة من Rust تم إصدارها وأي إصدارات من هذا القبيل تم إصدارها خلال الأشهر الأربعة الماضية.

على سبيل المثال، في ضوء الإصدارات 1.78.0 و 1.79.0 و 1.80.0 و 1.80.1 و 1.81.0 ، ستدعم DataFusion 1.78.0، وهو 3 إصدارات ثانوية تسبق الإصدار الأحدث 1.81 .

ملاحظة: إذا تم إصدار إصلاح عاجل لـ Rust لـ MSRV الحالي، فسيتم تحديث MSRV إلى الإصدار الثانوي المحدد الذي يتضمن كافة الإصلاحات العاجلة القابلة للتطبيق التي تسبق السياسات الأخرى.

يفرض DataFusion سياسة MSRV باستخدام فحص MSRV CI

سياسة تطوير DataFusion API

تخضع الأساليب العامة في Apache DataFusion للتطور كجزء من دورة حياة واجهة برمجة التطبيقات (API). سيتم التخلص التدريجي من الأساليب المهملة وفقًا للسياسة، مما يضمن استقرار واجهة برمجة التطبيقات وصحتها.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل