نظام التخزين الموزع Alluxio v3.1.3

Alluxio (المعروف سابقًا باسم Tachyon) هو نظام تخزين افتراضي موزع. فهو يسد الفجوة بين أطر الحوسبة وأنظمة التخزين، مما يسمح لتطبيقات الحوسبة بالاتصال بالعديد من أنظمة التخزين من خلال واجهة مشتركة. نشأ مشروع Alluxio من مشروع بحثي في ​​AMPLab بجامعة كاليفورنيا في بيركلي يُسمى Tachyon، وهو عبارة عن طبقة البيانات الخاصة بمكدس Berkeley Data Analytics Stack (BDAS).

مميزات نظام تخزين البيانات الكبيرة Alluxio

1. واجهة برمجة التطبيقات المرنة للملفات: واجهة برمجة التطبيقات المحلية الخاصة بـ Alluxio تشبه فئة java.io.File، حيث توفر واجهات InputStream وOutputStream ودعمًا فعالاً للإدخال/الإخراج المعين للذاكرة. نوصي باستخدام واجهة برمجة التطبيقات هذه للحصول على الوظائف الكاملة وأفضل أداء لـ Alluxio.

2. واجهة نظام الملفات المتوافقة مع Hadoop HDFS: بناءً على هذه المجموعة من الواجهات، يمكن لـ Hadoop MapReduce وSpark استخدام Alluxio بدلاً من HDFS.

3. وحدة تخزين أساسية قابلة للتوصيل: يدعم Alluxio بيانات الذاكرة المستمرة إلى نظام التخزين الأساسي. يوفر Alluxio واجهة مشتركة لتبسيط الاتصال بأنظمة التخزين الأساسية المختلفة. حاليًا، يدعم Alluxio Microsoft Azure Blob Store، وAmazon S3، وGoogle Cloud Storage، وOpenStack Swift، وGlusterFS، وHDFS، وMaprFS، وCeph، وNFS، وAlibaba OSS، وMinio، وسيتم دعم المزيد من أنظمة التخزين المحلية الأخرى في مستقبل.

4. التخزين الهرمي لـ Alluxio: يمكن لـ Alluxio إدارة الذاكرة والتخزين المحلي مثل SSD وHDD لتسريع الوصول إلى البيانات. إذا كانت هناك حاجة إلى مزيد من التحكم الدقيق، فيمكن استخدام ميزة التخزين في طبقات لإدارة البيانات تلقائيًا بين الطبقات المختلفة، مما يضمن وجود البيانات الساخنة في طبقة التخزين الأسرع. يمكن تطبيق السياسات المخصصة بسهولة على Alluxio، ويتيح مفهوم الدبابيس للمستخدمين التحكم بشكل صريح في مكان تخزين البيانات.

5. مساحة الاسم الموحدة: يمكن لـ Alluxio تحقيق إدارة فعالة للبيانات بين أنظمة التخزين المختلفة من خلال وظيفة التثبيت. بالإضافة إلى ذلك، يمكن لآلية التسمية الشفافة الحفاظ على اسم الملف والتسلسل الهرمي للدليل لكائن التخزين عند استمرار كائن التخزين في نظام التخزين الأساسي.

6. واجهة مستخدم الويب: يمكن للمستخدمين تصفح نظام الملفات من خلال واجهة مستخدم الويب. في وضع تصحيح الأخطاء، يمكن للمسؤولين أيضًا عرض معلومات تفصيلية حول كل ملف، بما في ذلك موقع التخزين ومسار نقطة التفتيش وما إلى ذلك.

7. سطر الأوامر: يمكن للمستخدمين أيضًا التفاعل مع Alluxio من خلال ./bin/alluxio fs، على سبيل المثال، لنسخ البيانات داخل وخارج نظام الملفات.