Sistema de almacenamiento distribuido Alluxio v3.1.3
3.1.3
Alluxio (anteriormente Tachyon) es un sistema de almacenamiento distribuido virtual. Cierra la brecha entre los marcos informáticos y los sistemas de almacenamiento, permitiendo que las aplicaciones informáticas se conecten a numerosos sistemas de almacenamiento a través de una interfaz común. El proyecto Alluxio surgió de un proyecto de investigación en el AMPLab de UC Berkeley llamado Tachyon, que es la capa de datos de Berkeley Data Analytics Stack (BDAS).
1. API de archivos flexible: la API local de Alluxio es similar a la clase java.io.File y proporciona interfaces InputStream y OutputStream y soporte eficiente para E/S asignadas en memoria. Recomendamos utilizar esta API para obtener la funcionalidad completa y el mejor rendimiento de Alluxio.
2. Interfaz del sistema de archivos compatible con Hadoop HDFS: según este conjunto de interfaces, Hadoop MapReduce y Spark pueden usar Alluxio en lugar de HDFS.
3. Almacenamiento subyacente conectable: Alluxio admite datos de memoria persistentes en el sistema de almacenamiento subyacente. Alluxio proporciona una interfaz común para simplificar la conexión con diferentes sistemas de almacenamiento subyacentes. Actualmente, Alluxio es compatible con Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio y más sistemas de archivos locales de nodo único. futuro.
4. Almacenamiento jerárquico de Alluxio: Alluxio puede administrar la memoria y el almacenamiento local, como SSD y HDD, para acelerar el acceso a los datos. Si se requiere un control más granular, la función de almacenamiento por niveles se puede utilizar para administrar automáticamente los datos entre diferentes niveles, asegurando que los datos activos estén en el nivel de almacenamiento más rápido. Las políticas personalizadas se pueden aplicar fácilmente a Alluxio y el concepto de pines permite a los usuarios controlar explícitamente dónde se almacenan los datos.
5. Espacio de nombres unificado: Alluxio puede lograr una gestión de datos eficiente entre diferentes sistemas de almacenamiento a través de la función de montaje. Además, el mecanismo de denominación transparente puede preservar el nombre del archivo y la jerarquía de directorios del objeto de almacenamiento al persistir el objeto de almacenamiento en el sistema de almacenamiento subyacente.
6. UI web: los usuarios pueden explorar el sistema de archivos a través de la UI web. En el modo de depuración, los administradores también pueden ver información detallada sobre cada archivo, incluida la ubicación de almacenamiento, la ruta del punto de control, etc.
7. Línea de comando: los usuarios también pueden interactuar con Alluxio a través de ./bin/alluxio fs, por ejemplo, para copiar datos dentro y fuera del sistema de archivos.
