aws data lake solution下載 - aws data lake solution原始碼下載

aws data lake solution

其他源碼

1.0.0

下載

資料湖解決方案

許多 Amazon Web Services (AWS) 客戶需要比傳統資料管理系統提供更高敏捷性和靈活性的資料儲存和分析解決方案。資料湖是一種越來越流行的儲存和分析資料的方式，因為它允許企業將所有資料（結構化和非結構化）儲存在集中儲存庫中。 AWS 雲端提供了許多協助企業實施安全、靈活且經濟高效的資料湖所需的建置區塊。

資料湖解決方案是一種自動化參考實施，可在 AWS 雲端上部署高度可用、經濟高效的資料湖架構。此解決方案旨在解決圍繞資料湖架構概念化的常見客戶痛點，並自動配置必要的核心 AWS 服務，以便輕鬆標記、搜尋、共用和管理整個企業或與其他外部企業的特定資料子集。該解決方案允許使用者對新資料集進行編目，為 Amazon Simple Storage Service (Amazon S3) 中的現有資料集建立資料配置文件，並以最少的工作量與 AWS Glue 和 Amazon Athena 等解決方案整合。

有關完整解決方案概述，請造訪 AWS 上的資料湖。

如需使用資料湖解決方案時的協助，請造訪線上協助指南。

文件結構

資料湖計畫由促進解決方案功能區域的微服務組成。這些微服務部署到 AWS Lambda 中的無伺服器環境。

 |-deployment/ [包含範本和建置腳本的資料夾]
|-來源/
  |-api/
    |-authorizer/ [api網關的自訂授權者]
    |-服務/
      |-admin/ [用於資料湖管理功能的微服務]
      |-cart/ [資料湖購物車功能的微服務]
      |-logging/ [用於資料湖稽核日誌記錄的微服務]
      |-manifest/ [用於資料湖清單處理的微服務]
      |-package/ [資料湖包功能的微服務]
      |-profile/ [資料湖使用者設定檔功能的微服務]
      |-search/ [用於資料湖搜尋功能的微服務]
  |-cli/ [資料湖命令列介面]
  |-console/ [資料湖 AngularJS 管理控制台]
  |-資源/
    |-access-validator/ [用於驗證細粒度權限的輔助模組]
    |-helper/ [CloudFormation 部署範本的自訂幫助程式]

每個微服務都遵循以下結構：

 |-服務名稱/
  |-lib/
    |-[服務模組庫和單元測試]
  |-index.js [微服務注入點]
  |-package.json

入門

01.先決條件

以下過程假設所有作業系統層級的配置均已完成。他們是：

AWS 命令列介面
Node.js 12.x

資料湖解決方案是使用 Node.js 開發的，用於在 AWS Lambda 中運行的微服務，並使用 Angular 1.x 開發控制台使用者介面。最新版本的資料湖解決方案已使用 Node.js v12.x 進行了測試。

02.建構資料湖解決方案

克隆 aws-data-lake-solution GitHub 儲存庫：

 git clone https://github.com/awslabs/aws-data-lake-solution.git

03.宣告環境變數：

 export AWS_REGION=<aws-region-code>
export SOLUTION_NAME=<your-solution-name>
export VERSION_CODE=<version-code>
export DEPLOY_BUCKET=<source-bucket-base-name>
export CLOUDFORMATION_TEMPLATE_BUCKET=<cloudformation-template-bucket-name>

aws-region-code ：AWS 區域代碼。例如： us-east-1 、 us-west-2 ...
your-solution-name ：您的自訂解決方案名稱。例如aws-data-lake-solution
version-code ：套件的版本。例如v1.0.0
source-bucket-base-name ：範本將從其中取得 Lambda 程式碼的 S3 儲存桶位置的名稱。該模板會將-[aws-region-code]附加到該儲存桶名稱。例如： ./build-s3-dist.sh solutions aws-data-lake-solution v2.0.0 solutions ，模板將期望原始碼位於solutions-[aws-region-code]儲存桶中。
cloudformation-template-bucket-name ：CloudFormation 範本所在的 S3 儲存體桶的名稱。

04. 執行資料湖解決方案單元測試：

 cd ./aws-data-lake-solution/deployment
chmod +x run-unit-tests.sh
./run-unit-tests.sh

05. 建置用於部署的資料湖解決方案：

 chmod +x build-s3-dist.sh
./build-s3-dist.sh $DEPLOY_BUCKET $SOLUTION_NAME $VERSION_CODE $CLOUDFORMATION_TEMPLATE_BUCKET

06. 將部署資產上傳到您的 Amazon S3 儲存桶：

 aws s3 cp ./global-s3-assets s3://$CLOUDFORMATION_TEMPLATE_BUCKET/$SOLUTION_NAME/$VERSION_CODE --recursive --acl bucket-owner-full-control
aws s3 cp ./regional-s3-assets s3://$DEPLOY_BUCKET-$AWS_REGION/$SOLUTION_NAME/$VERSION_CODE --recursive --acl bucket-owner-full-control

07.部署資料湖解決方案：

從上傳部署資產的指定 Amazon S3 儲存桶中，複製 data-lake-deploy.template 或 data-lake-deploy-federated.template 的連結位置。
使用 AWS CloudFormation，使用複製的 data-lake-deploy.template 或 data-lake-deploy-federated.template 的 Amazon S3 連結啟動資料湖解決方案堆疊。