Système de stockage distribué Alluxio v3.1.3
3.1.3
Alluxio (anciennement Tachyon) est un système de stockage virtuel distribué. Il comble le fossé entre les cadres informatiques et les systèmes de stockage, permettant aux applications informatiques de se connecter à de nombreux systèmes de stockage via une interface commune. Le projet Alluxio est né d'un projet de recherche de l'AMPLab de l'UC Berkeley appelé Tachyon, qui est la couche de données de la Berkeley Data Analytics Stack (BDAS).
1. API de fichier flexible : l'API locale d'Alluxio est similaire à la classe java.io.File, fournissant des interfaces InputStream et OutputStream et une prise en charge efficace des E/S mappées en mémoire. Nous vous recommandons d'utiliser cette API pour obtenir toutes les fonctionnalités et les meilleures performances d'Alluxio.
2. Interface du système de fichiers compatible avec Hadoop HDFS : sur la base de cet ensemble d'interfaces, Hadoop MapReduce et Spark peuvent utiliser Alluxio au lieu de HDFS.
3. Stockage sous-jacent enfichable : Alluxio prend en charge les données de mémoire persistantes sur le système de stockage sous-jacent. Alluxio fournit une interface commune pour simplifier la connexion avec différents systèmes de stockage sous-jacents. Actuellement, Alluxio prend en charge Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio et d'autres systèmes de fichiers locaux à nœud unique seront pris en charge. avenir.
4. Stockage hiérarchique Alluxio : Alluxio peut gérer la mémoire et le stockage local tels que les SSD et les disques durs pour accélérer l'accès aux données. Si un contrôle plus granulaire est nécessaire, la fonctionnalité de stockage hiérarchisé peut être utilisée pour gérer automatiquement les données entre différents niveaux, garantissant ainsi que les données chaudes se trouvent sur le niveau de stockage le plus rapide. Des politiques personnalisées peuvent être facilement appliquées à Alluxio, et le concept de broches permet aux utilisateurs de contrôler explicitement l'emplacement de stockage des données.
5. Espace de noms unifié : Alluxio peut réaliser une gestion efficace des données entre différents systèmes de stockage grâce à la fonction de montage. De plus, le mécanisme de dénomination transparent peut conserver le nom de fichier et la hiérarchie de répertoires de l'objet de stockage lors de la persistance de l'objet de stockage sur le système de stockage sous-jacent.
6. Interface utilisateur Web : les utilisateurs peuvent parcourir le système de fichiers via l'interface utilisateur Web. En mode débogage, les administrateurs peuvent également afficher des informations détaillées sur chaque fichier, notamment l'emplacement de stockage, le chemin du point de contrôle, etc.
7. Ligne de commande : les utilisateurs peuvent également interagir avec Alluxio via ./bin/alluxio fs, par exemple, pour copier des données dans et hors du système de fichiers.
