Alluxio(以前稱為Tachyon)是一個虛擬的分散式儲存系統。它彌合了計算框架和儲存系統之間的鴻溝,使計算應用程式可以透過公共介面連接到眾多儲存系統。 Alluxio計畫源自加州大學柏克萊分校AMPLab的一個名為Tachyon的研究項目,該計畫是柏克萊資料分析堆疊(BDAS)的資料層。
1.靈活的檔案API:Alluxio的本地API類似java.io.File類,提供了InputStream和OutputStream的介面和對記憶體映射I/O的高效支援。我們推薦使用這套API以獲得Alluxio的完整功能以及最佳效能。
2、相容Hadoop HDFS的檔案系統介面:基於這套介面Hadoop MapReduce和Spark可以使用Alluxio取代HDFS。
3.可插拔的底層儲存:Alluxio支援將記憶體資料持久化到底層儲存系統。 Alluxio提供了通用介面以簡化對接不同的底層儲存系統。目前Alluxio支援Microsoft Azure Blob Store,Amazon S3,Google Cloud Storage,OpenStack Swift,GlusterFS, HDFS,MaprFS,Ceph,NFS,Alibaba OSS,Minio以及單節點本機檔案系統,後續也會支援更多其他儲存系統。
4.Alluxio層級儲存:Alluxio可以管理記憶體和本地儲存如SSD和HDD,以加速資料存取。如果需要更細粒度的控制,分層儲存功能可以用於自動化管理不同層之間的數據,確保熱數據在更快的儲存層上。自訂策略可以方便地應用到Alluxio,而且pin(釘住)的概念允許使用者明確地控制資料的存放位置。
5.統一命名空間:Alluxio可以透過掛載功能實現不同儲存系統之間的高效資料管理。並且,透明命名機制在持久化儲存物件到底層儲存系統時可以保留儲存物件的檔案名稱和目錄層次結構。
6.Web UI:使用者可以透過Web UI瀏覽文件系統。在調試模式下,管理員還可以查看每個文件的詳細信息,包括存放位置,檢查點路徑等。
7.命令列:使用者也可以透過./bin/alluxio fs與Alluxio交互,例如:實作將資料從檔案系統拷入拷出。