Alluxio verteiltes Speichersystem v3.1.3
3.1.3
Alluxio (ehemals Tachyon) ist ein virtuelles verteiltes Speichersystem. Es schließt die Lücke zwischen Computer-Frameworks und Speichersystemen und ermöglicht es Computeranwendungen, über eine gemeinsame Schnittstelle eine Verbindung zu zahlreichen Speichersystemen herzustellen. Das Alluxio-Projekt entstand aus einem Forschungsprojekt am AMPLab der UC Berkeley namens Tachyon, der Datenschicht des Berkeley Data Analytics Stack (BDAS).
1. Flexible Datei-API: Die lokale API von Alluxio ähnelt der Klasse java.io.File und bietet InputStream- und OutputStream-Schnittstellen sowie effiziente Unterstützung für speicherzugeordnete E/A. Wir empfehlen die Verwendung dieser API, um die volle Funktionalität und beste Leistung von Alluxio zu erhalten.
2. Mit Hadoop HDFS kompatible Dateisystemschnittstelle: Basierend auf diesem Schnittstellensatz können Hadoop MapReduce und Spark Alluxio anstelle von HDFS verwenden.
3. Steckbarer zugrunde liegender Speicher: Alluxio unterstützt die dauerhafte Speicherung von Speicherdaten im zugrunde liegenden Speichersystem. Alluxio bietet eine gemeinsame Schnittstelle, um die Verbindung mit verschiedenen zugrunde liegenden Speichersystemen zu vereinfachen. Derzeit unterstützt Alluxio Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio und weitere lokale Dateisysteme mit einem Knoten Zukunft.
4. Hierarchischer Alluxio-Speicher: Alluxio kann Speicher und lokalen Speicher wie SSD und HDD verwalten, um den Datenzugriff zu beschleunigen. Wenn eine detailliertere Kontrolle erforderlich ist, kann die Tiered-Storage-Funktion verwendet werden, um Daten zwischen verschiedenen Tiers automatisch zu verwalten und sicherzustellen, dass sich heiße Daten auf der schnelleren Speicherebene befinden. Benutzerdefinierte Richtlinien können problemlos auf Alluxio angewendet werden, und das Konzept der Pins ermöglicht es Benutzern, explizit zu steuern, wo Daten gespeichert werden.
5. Einheitlicher Namespace: Alluxio kann durch die Mount-Funktion eine effiziente Datenverwaltung zwischen verschiedenen Speichersystemen erreichen. Darüber hinaus kann der transparente Benennungsmechanismus den Dateinamen und die Verzeichnishierarchie des Speicherobjekts beibehalten, wenn das Speicherobjekt im zugrunde liegenden Speichersystem beibehalten wird.
6. Web-Benutzeroberfläche: Benutzer können das Dateisystem über die Web-Benutzeroberfläche durchsuchen. Im Debugging-Modus können Administratoren außerdem detaillierte Informationen zu jeder Datei anzeigen, einschließlich Speicherort, Prüfpunktpfad usw.
7. Befehlszeile: Benutzer können auch über ./bin/alluxio fs mit Alluxio interagieren, um beispielsweise Daten in das Dateisystem und aus diesem heraus zu kopieren.
