Распределенная система хранения данных Alluxio v3.1.3

Alluxio (ранее Tachyon) — виртуальная распределенная система хранения данных. Он устраняет разрыв между вычислительными платформами и системами хранения, позволяя вычислительным приложениям подключаться к многочисленным системам хранения через общий интерфейс. Проект Alluxio вырос из исследовательского проекта AMPLab Калифорнийского университета в Беркли под названием Tachyon, который представляет собой уровень данных стека аналитики данных Беркли (BDAS).

Особенности системы хранения больших данных Alluxio

1. Гибкий файловый API. Локальный API Alluxio аналогичен классу java.io.File, предоставляя интерфейсы InputStream и OutputStream и эффективную поддержку ввода-вывода с отображением в памяти. Мы рекомендуем использовать этот API, чтобы получить полную функциональность и максимальную производительность Alluxio.

2. Интерфейс файловой системы, совместимый с Hadoop HDFS. На основе этого набора интерфейсов Hadoop MapReduce и Spark могут использовать Alluxio вместо HDFS.

3. Подключаемое базовое хранилище: Alluxio поддерживает сохранение данных в памяти базовой системы хранения. Alluxio предоставляет общий интерфейс для упрощения подключения к различным базовым системам хранения. В настоящее время Alluxio поддерживает Microsoft Azure Blob Store, Amazon S3, Google Cloud Storage, OpenStack Swift, GlusterFS, HDFS, MaprFS, Ceph, NFS, Alibaba OSS, Minio и другие локальные файловые системы с одним узлом. будущее.

4. Иерархическое хранилище Alluxio: Alluxio может управлять памятью и локальными хранилищами, такими как SSD и HDD, для ускорения доступа к данным. Если требуется более детальный контроль, можно использовать функцию многоуровневого хранилища для автоматического управления данными между разными уровнями, гарантируя, что «горячие» данные будут находиться на более быстром уровне хранения. К Alluxio можно легко применить пользовательские политики, а концепция контактов позволяет пользователям явно контролировать, где хранятся данные.

5. Единое пространство имен. Alluxio может обеспечить эффективное управление данными между различными системами хранения с помощью функции монтирования. Кроме того, механизм прозрачного именования может сохранять имя файла и иерархию каталогов объекта хранения при сохранении объекта хранения в базовой системе хранения.

6. Веб-интерфейс: пользователи могут просматривать файловую систему через веб-интерфейс. В режиме отладки администраторы также могут просматривать подробную информацию о каждом файле, включая место хранения, путь к контрольной точке и т. д.

7. Командная строка. Пользователи также могут взаимодействовать с Alluxio через ./bin/alluxio fs, например, для копирования данных в файловую систему и из нее.