Sistem penyimpanan terdistribusi Alluxio v3.1.3

Alluxio (sebelumnya Tachyon) adalah sistem penyimpanan terdistribusi virtual. Ini menjembatani kesenjangan antara kerangka komputasi dan sistem penyimpanan, memungkinkan aplikasi komputasi terhubung ke berbagai sistem penyimpanan melalui antarmuka umum. Proyek Alluxio tumbuh dari proyek penelitian di AMPLab UC Berkeley yang disebut Tachyon, yang merupakan lapisan data dari Berkeley Data Analytics Stack (BDAS).

Fitur sistem penyimpanan data besar Alluxio

1. API file fleksibel: API lokal Alluxio mirip dengan kelas java.io.File, menyediakan antarmuka InputStream dan OutputStream serta dukungan efisien untuk I/O yang dipetakan memori. Kami merekomendasikan penggunaan API ini untuk mendapatkan fungsionalitas penuh dan kinerja terbaik Alluxio.

2. Antarmuka sistem file yang kompatibel dengan Hadoop HDFS: Berdasarkan rangkaian antarmuka ini, Hadoop MapReduce dan Spark dapat menggunakan Alluxio, bukan HDFS.

3. Penyimpanan dasar yang dapat dicolokkan: Alluxio mendukung data memori yang tersimpan ke sistem penyimpanan dasar. Alluxio menyediakan antarmuka umum untuk menyederhanakan koneksi dengan berbagai sistem penyimpanan dasar. Saat ini, Alluxio mendukung Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio, dan sistem file lokal node tunggal lainnya masa depan.

4. Penyimpanan hierarki Alluxio: Alluxio dapat mengelola memori dan penyimpanan lokal seperti SSD dan HDD untuk mempercepat akses data. Jika kontrol yang lebih terperinci diperlukan, fitur penyimpanan berjenjang dapat digunakan untuk mengelola data secara otomatis antar tingkatan yang berbeda, memastikan bahwa data panas berada pada tingkat penyimpanan yang lebih cepat. Kebijakan khusus dapat dengan mudah diterapkan ke Alluxio, dan konsep pin memungkinkan pengguna mengontrol secara eksplisit di mana data disimpan.

5. Namespace terpadu: Alluxio dapat mencapai manajemen data yang efisien antara sistem penyimpanan yang berbeda melalui fungsi pemasangan. Selain itu, mekanisme penamaan transparan dapat mempertahankan nama file dan hierarki direktori objek penyimpanan saat objek penyimpanan tetap berada di sistem penyimpanan yang mendasarinya.

6. Web UI: Pengguna dapat menelusuri sistem file melalui Web UI. Dalam mode debugging, administrator juga dapat melihat informasi rinci tentang setiap file, termasuk lokasi penyimpanan, jalur pos pemeriksaan, dll.

7. Baris perintah: Pengguna juga dapat berinteraksi dengan Alluxio melalui ./bin/alluxio fs, misalnya untuk menyalin data masuk dan keluar dari sistem file.