Sistema de armazenamento distribuído Alluxio v3.1.3

Alluxio (anteriormente Tachyon) é um sistema de armazenamento virtual distribuído. Ele preenche a lacuna entre as estruturas de computação e os sistemas de armazenamento, permitindo que aplicativos de computação se conectem a vários sistemas de armazenamento por meio de uma interface comum. O projeto Alluxio surgiu de um projeto de pesquisa no AMPLab da UC Berkeley chamado Tachyon, que é a camada de dados do Berkeley Data Analytics Stack (BDAS).

Recursos do sistema de armazenamento de big data Alluxio

1. API de arquivo flexível: A API local do Alluxio é semelhante à classe java.io.File, fornecendo interfaces InputStream e OutputStream e suporte eficiente para E/S mapeadas em memória. Recomendamos usar esta API para obter todas as funcionalidades e melhor desempenho do Alluxio.

2. Interface do sistema de arquivos compatível com Hadoop HDFS: Com base neste conjunto de interfaces, Hadoop MapReduce e Spark podem usar Alluxio em vez de HDFS.

3. Armazenamento subjacente conectável: Alluxio suporta dados de memória persistentes para o sistema de armazenamento subjacente. Alluxio fornece uma interface comum para simplificar a conexão com diferentes sistemas de armazenamento subjacentes. Atualmente, o Alluxio suporta Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio e sistemas de arquivos locais de nó único. futuro.

4. Armazenamento hierárquico Alluxio: Alluxio pode gerenciar memória e armazenamento local, como SSD e HDD para acelerar o acesso aos dados. Se for necessário um controle mais granular, o recurso de armazenamento em camadas pode ser usado para gerenciar automaticamente os dados entre diferentes camadas, garantindo que os dados importantes estejam na camada de armazenamento mais rápida. Políticas personalizadas podem ser facilmente aplicadas ao Alluxio, e o conceito de pins permite aos usuários controlar explicitamente onde os dados são armazenados.

5. Namespace unificado: Alluxio pode obter gerenciamento eficiente de dados entre diferentes sistemas de armazenamento através da função de montagem. Além disso, o mecanismo de nomenclatura transparente pode preservar o nome do arquivo e a hierarquia de diretórios do objeto de armazenamento ao persistir o objeto de armazenamento no sistema de armazenamento subjacente.

6. UI da Web: os usuários podem navegar no sistema de arquivos por meio da UI da Web. No modo de depuração, os administradores também podem visualizar informações detalhadas sobre cada arquivo, incluindo local de armazenamento, caminho do ponto de verificação, etc.

7. Linha de comando: Os usuários também podem interagir com o Alluxio através de ./bin/alluxio fs, por exemplo, para copiar dados para dentro e para fora do sistema de arquivos.