aws data lake solution 다운로드 - aws data lake solution 소스 코드 다운로드

aws data lake solution

기타 소스코드

1.0.0

다운로드

데이터 레이크 솔루션

많은 Amazon Web Services(AWS) 고객은 기존 데이터 관리 시스템보다 더 나은 민첩성과 유연성을 제공하는 데이터 스토리지 및 분석 솔루션을 필요로 합니다. 데이터 레이크는 기업이 구조화된 데이터와 구조화되지 않은 모든 데이터를 중앙 저장소에 저장할 수 있기 때문에 데이터를 저장하고 분석하는 방법으로 점점 더 널리 사용되고 있습니다. AWS 클라우드는 기업이 안전하고 유연하며 비용 효율적인 데이터 레이크를 구현하는 데 필요한 다양한 구성 요소를 제공합니다.

데이터 레이크 솔루션은 가용성이 높고 비용 효율적인 데이터 레이크 아키텍처를 AWS 클라우드에 배포하는 자동화된 참조 구현입니다. 이 솔루션은 데이터 레이크 아키텍처 개념화와 관련된 고객의 일반적인 문제점을 해결하고 비즈니스 전반에서 또는 다른 외부 비즈니스와 함께 특정 데이터 하위 집합을 쉽게 태그 지정, 검색, 공유 및 관리하는 데 필요한 핵심 AWS 서비스를 자동으로 구성하기 위한 것입니다. 이 솔루션을 사용하면 사용자는 새로운 데이터 세트를 분류하고, Amazon Simple Storage Service(Amazon S3)에서 기존 데이터 세트에 대한 데이터 프로필을 생성하고, 최소한의 노력으로 AWS Glue 및 Amazon Athena와 같은 솔루션과 통합할 수 있습니다.

전체 솔루션 개요를 보려면 AWS의 Data Lake를 방문하세요.

데이터 레이크 솔루션 사용 시 도움이 필요하면 온라인 도움말 가이드를 방문하세요.

파일 구조

데이터 레이크 프로젝트는 솔루션의 기능 영역을 촉진하는 마이크로서비스로 구성됩니다. 이러한 마이크로서비스는 AWS Lambda의 서버리스 환경에 배포됩니다.

 |-deployment/ [템플릿 및 빌드 스크립트가 포함된 폴더]
|-소스/
  |-api/
    |-authorizer/ [API 게이트웨이에 대한 사용자 정의 권한 부여자]
    |-서비스/
      |-admin/ [데이터 레이크 관리 기능을 위한 마이크로서비스]
      |-cart/ [데이터 레이크 카트 기능을 위한 마이크로서비스]
      |-logging/ [데이터 레이크 감사 로깅을 위한 마이크로서비스]
      |-manifest/ [데이터 레이크 매니페스트 처리를 위한 마이크로서비스]
      |-package/ [데이터 레이크 패키지 기능을 위한 마이크로서비스]
      |-profile/ [데이터 레이크 사용자 프로필 기능을 위한 마이크로서비스]
      |-search/ [데이터 레이크 검색 기능을 위한 마이크로서비스]
  |-cli/ [데이터 레이크 명령줄 인터페이스]
  |-console/ [데이터 레이크 Anglejs 관리 콘솔]
  |-자원/
    |-access-validator/ [세부적인 권한을 검증하는 데 사용되는 보조 모듈]
    |-helper/ [CloudFormation 배포 템플릿을 위한 사용자 지정 도우미]

각 마이크로서비스는 다음 구조를 따릅니다.

 |-서비스 이름/
  |-lib/
    |-[서비스 모듈 라이브러리 및 단위 테스트]
  |-index.js [마이크로서비스의 주입 지점]
  |-패키지.json

시작하기

01. 전제조건

다음 절차에서는 OS 수준 구성이 모두 완료되었다고 가정합니다. 그들은:

AWS 명령줄 인터페이스
Node.js 12.x

데이터 레이크 솔루션은 AWS Lambda에서 실행되는 마이크로서비스용 Node.js와 콘솔 사용자 인터페이스용 Angular 1.x를 사용하여 개발되었습니다. 최신 버전의 데이터 레이크 솔루션은 Node.js v12.x에서 테스트되었습니다.

02. 데이터 레이크 솔루션 구축

aws-data-lake-solution GitHub 리포지토리를 복제합니다.

 git clone https://github.com/awslabs/aws-data-lake-solution.git

03. 환경변수 선언:

 export AWS_REGION=<aws-region-code>
export SOLUTION_NAME=<your-solution-name>
export VERSION_CODE=<version-code>
export DEPLOY_BUCKET=<source-bucket-base-name>
export CLOUDFORMATION_TEMPLATE_BUCKET=<cloudformation-template-bucket-name>

aws-region-code : AWS 지역 코드입니다. 예: us-east-1 , us-west-2 ...
your-solution-name : 사용자 정의된 솔루션 이름입니다. 예: aws-data-lake-solution
version-code : 패키지의 버전입니다. 예: v1.0.0
source-bucket-base-name : 템플릿이 Lambda 코드를 소스로 삼을 S3 버킷 위치의 이름입니다. 템플릿은 이 버킷 이름에 -[aws-region-code] 추가합니다. 예를 들어 ./build-s3-dist.sh solutions aws-data-lake-solution v2.0.0 solutions 이면 템플릿은 소스 코드가 solutions-[aws-region-code] 버킷에 있을 것으로 예상합니다.
cloudformation-template-bucket-name : CloudFormation 템플릿이 위치할 S3 버킷의 이름입니다.

04. 데이터 레이크 솔루션 단위 테스트를 실행합니다.

 cd ./aws-data-lake-solution/deployment
chmod +x run-unit-tests.sh
./run-unit-tests.sh

05. 배포용 데이터 레이크 솔루션 구축:

 chmod +x build-s3-dist.sh
./build-s3-dist.sh $DEPLOY_BUCKET $SOLUTION_NAME $VERSION_CODE $CLOUDFORMATION_TEMPLATE_BUCKET

06. Amazon S3 버킷에 배포 자산을 업로드합니다.

 aws s3 cp ./global-s3-assets s3://$CLOUDFORMATION_TEMPLATE_BUCKET/$SOLUTION_NAME/$VERSION_CODE --recursive --acl bucket-owner-full-control
aws s3 cp ./regional-s3-assets s3://$DEPLOY_BUCKET-$AWS_REGION/$SOLUTION_NAME/$VERSION_CODE --recursive --acl bucket-owner-full-control

07. 데이터 레이크 솔루션 배포:

배포 자산을 업로드한 지정된 Amazon S3 버킷에서 data-lake-deploy.template 또는 data-lake-deploy-federated.template의 링크 위치를 복사합니다.
AWS CloudFormation을 사용하여 data-lake-deploy.template 또는 data-lake-deploy-federated.template에 대해 복사된 Amazon S3 링크를 사용하여 데이터 레이크 솔루션 스택을 시작합니다.

현재 데이터 레이크 솔루션은 다음 지역에 배포될 수 있습니다: [ us-east-1, us-east-2, us-west-2, eu-west-1, eu-west-2, eu-central-1 , ap-northeast-1, ap-northeast-2, ap-southeast-2, ap-south-1 ]