Alluxio 분산 스토리지 시스템 v3.1.3

Alluxio(이전 Tachyon)는 가상 분산 스토리지 시스템입니다. 이는 컴퓨팅 프레임워크와 스토리지 시스템 간의 격차를 해소하여 컴퓨팅 애플리케이션이 공통 인터페이스를 통해 수많은 스토리지 시스템에 연결할 수 있도록 합니다. Alluxio 프로젝트는 BDAS(Berkeley Data Analytics Stack)의 데이터 계층인 Tachyon이라는 UC Berkeley의 AMPLab 연구 프로젝트에서 성장했습니다.

Alluxio 빅데이터 스토리지 시스템의 특징

1. 유연한 파일 API: Alluxio의 로컬 API는 java.io.File 클래스와 유사하며, InputStream 및 OutputStream 인터페이스를 제공하고 메모리 매핑 I/O에 대한 효율적인 지원을 제공합니다. Alluxio의 전체 기능과 최고의 성능을 얻으려면 이 API를 사용하는 것이 좋습니다.

2. Hadoop HDFS와 호환되는 파일 시스템 인터페이스: 이 인터페이스 세트를 기반으로 Hadoop MapReduce 및 Spark는 HDFS 대신 Alluxio를 사용할 수 있습니다.

3. 플러그형 기본 스토리지: Alluxio는 기본 스토리지 시스템에 메모리 데이터를 유지하는 것을 지원합니다. Alluxio는 다양한 기본 스토리지 시스템과의 연결을 단순화하는 공통 인터페이스를 제공합니다. 현재 Alluxio는 Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio 및 단일 노드 로컬 파일 시스템을 지원합니다. 미래.

4. Alluxio 계층적 스토리지: Alluxio는 SSD, HDD와 같은 메모리와 로컬 스토리지를 관리하여 데이터 액세스를 가속화할 수 있습니다. 보다 세부적인 제어가 필요한 경우 계층형 스토리지 기능을 사용하여 여러 계층 간의 데이터를 자동으로 관리함으로써 핫 데이터가 더 빠른 스토리지 계층에 있도록 할 수 있습니다. 맞춤형 정책은 Alluxio에 쉽게 적용될 수 있으며 핀 개념을 통해 사용자는 데이터가 저장되는 위치를 명시적으로 제어할 수 있습니다.

5. 통합 네임스페이스: Alluxio는 마운팅 기능을 통해 서로 다른 스토리지 시스템 간의 효율적인 데이터 관리를 달성할 수 있습니다. 또한, 투명한 이름 지정 메커니즘은 스토리지 개체를 기본 스토리지 시스템에 유지할 때 스토리지 개체의 파일 이름과 디렉터리 계층 구조를 보존할 수 있습니다.

6. 웹 UI: 사용자는 웹 UI를 통해 파일 시스템을 탐색할 수 있습니다. 디버깅 모드에서 관리자는 저장 위치, 체크포인트 경로 등을 포함하여 각 파일에 대한 자세한 정보를 볼 수도 있습니다.

7. 명령줄: 사용자는 ./bin/alluxio fs를 통해 Alluxio와 상호 작용할 수도 있습니다. 예를 들어 파일 시스템 안팎으로 데이터를 복사할 수 있습니다.