ระบบจัดเก็บข้อมูลแบบกระจาย Alluxio v3.1.3

Alluxio (เดิมชื่อ Tachyon) เป็นระบบจัดเก็บข้อมูลแบบกระจายเสมือน โดยเชื่อมช่องว่างระหว่างเฟรมเวิร์กการประมวลผลและระบบจัดเก็บข้อมูล ช่วยให้แอปพลิเคชันการประมวลผลสามารถเชื่อมต่อกับระบบจัดเก็บข้อมูลจำนวนมากผ่านอินเทอร์เฟซทั่วไป โครงการ Alluxio เติบโตจากโครงการวิจัยที่ AMPLab ของ UC Berkeley ที่เรียกว่า Tachyon ซึ่งเป็นชั้นข้อมูลของ Berkeley Data Analytics Stack (BDAS)

คุณสมบัติของระบบจัดเก็บข้อมูลขนาดใหญ่ Alluxio

1. API ไฟล์ที่ยืดหยุ่น: API ภายในของ Alluxio คล้ายกับคลาส java.io.File โดยมีอินเทอร์เฟซ InputStream และ OutputStream และรองรับ I/O ที่แมปหน่วยความจำอย่างมีประสิทธิภาพ เราขอแนะนำให้ใช้ API นี้เพื่อรับฟังก์ชันการทำงานเต็มรูปแบบและประสิทธิภาพที่ดีที่สุดของ Alluxio

2. อินเทอร์เฟซระบบไฟล์ที่เข้ากันได้กับ Hadoop HDFS: Hadoop MapReduce และ Spark สามารถใช้ Alluxio แทน HDFS ตามชุดอินเทอร์เฟซนี้

3. พื้นที่จัดเก็บข้อมูลพื้นฐานแบบเสียบปลั๊กได้: Alluxio รองรับข้อมูลหน่วยความจำที่มีอยู่ไปยังระบบจัดเก็บข้อมูลพื้นฐาน Alluxio มีอินเทอร์เฟซทั่วไปเพื่อลดความซับซ้อนในการเชื่อมต่อกับระบบจัดเก็บข้อมูลพื้นฐานที่แตกต่างกัน ปัจจุบัน Alluxio รองรับ Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio และระบบไฟล์โลคัลโหนดเดียวเพิ่มเติมจะได้รับการสนับสนุนใน อนาคต.

4. พื้นที่จัดเก็บข้อมูลแบบลำดับชั้นของ Alluxio: Alluxio สามารถจัดการหน่วยความจำและที่จัดเก็บในเครื่อง เช่น SSD และ HDD เพื่อเร่งการเข้าถึงข้อมูล หากต้องการการควบคุมที่ละเอียดยิ่งขึ้น สามารถใช้ฟีเจอร์การจัดเก็บข้อมูลแบบแบ่งระดับเพื่อจัดการข้อมูลระหว่างระดับต่างๆ ได้โดยอัตโนมัติ เพื่อให้มั่นใจว่าข้อมูลยอดนิยมจะอยู่บนระดับการจัดเก็บข้อมูลที่รวดเร็วกว่า นโยบายที่กำหนดเองสามารถนำไปใช้กับ Alluxio ได้อย่างง่ายดาย และแนวคิดของพินช่วยให้ผู้ใช้สามารถควบคุมตำแหน่งที่จะจัดเก็บข้อมูลได้อย่างชัดเจน

5. เนมสเปซแบบรวม: Alluxio สามารถบรรลุการจัดการข้อมูลที่มีประสิทธิภาพระหว่างระบบจัดเก็บข้อมูลที่แตกต่างกันผ่านฟังก์ชันการติดตั้ง นอกจากนี้ กลไกการตั้งชื่อแบบโปร่งใสสามารถรักษาชื่อไฟล์และลำดับชั้นไดเร็กทอรีของอ็อบเจ็กต์หน่วยเก็บข้อมูลได้ เมื่อคงรักษาอ็อบเจ็กต์หน่วยเก็บข้อมูลไว้ที่ระบบหน่วยเก็บข้อมูลพื้นฐาน

6. Web UI: ผู้ใช้สามารถเรียกดูระบบไฟล์ผ่าน Web UI ในโหมดแก้ไขข้อบกพร่อง ผู้ดูแลระบบยังสามารถดูข้อมูลโดยละเอียดเกี่ยวกับแต่ละไฟล์ รวมถึงตำแหน่งที่เก็บข้อมูล เส้นทางจุดตรวจสอบ ฯลฯ

7. บรรทัดคำสั่ง: ผู้ใช้ยังสามารถโต้ตอบกับ Alluxio ผ่าน ./bin/alluxio fs ได้ เช่น เพื่อคัดลอกข้อมูลเข้าและออกจากระบบไฟล์