หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

โซลูชันดาต้าเลค

ลูกค้า Amazon Web Services (AWS) จำนวนมากต้องการโซลูชันการจัดเก็บข้อมูลและการวิเคราะห์ที่ให้ความคล่องตัวและความยืดหยุ่นมากกว่าระบบการจัดการข้อมูลแบบเดิม Data Lake เป็นวิธีที่ได้รับความนิยมมากขึ้นในการจัดเก็บและวิเคราะห์ข้อมูล เนื่องจากช่วยให้ธุรกิจจัดเก็บข้อมูลทั้งหมดของตนทั้งแบบมีโครงสร้างและไม่มีโครงสร้างไว้ในที่เก็บข้อมูลแบบรวมศูนย์ AWS Cloud มีองค์ประกอบหลายอย่างที่จำเป็นในการช่วยให้ธุรกิจปรับใช้ Data Lake ที่ปลอดภัย ยืดหยุ่น และคุ้มค่า

โซลูชัน Data Lake คือการใช้งานอ้างอิงอัตโนมัติที่ปรับใช้สถาปัตยกรรม Data Lake ที่พร้อมใช้งานสูงและคุ้มค่าบน AWS Cloud โซลูชันนี้มีจุดมุ่งหมายเพื่อจัดการกับปัญหาที่พบบ่อยของลูกค้าเกี่ยวกับการกำหนดแนวคิดสถาปัตยกรรม Data Lake และกำหนดค่าบริการหลักของ AWS ที่จำเป็นโดยอัตโนมัติเพื่อแท็ก ค้นหา แชร์ และควบคุมชุดย่อยของข้อมูลเฉพาะทั่วทั้งธุรกิจหรือกับธุรกิจภายนอกอื่นๆ ได้อย่างง่ายดาย โซลูชันนี้ช่วยให้ผู้ใช้จัดทำแค็ตตาล็อกชุดข้อมูลใหม่ และสร้างโปรไฟล์ข้อมูลสำหรับชุดข้อมูลที่มีอยู่ใน Amazon Simple Storage Service (Amazon S3) และผสานรวมกับโซลูชัน เช่น AWS Glue และ Amazon Athena โดยใช้ความพยายามเพียงเล็กน้อย

สำหรับภาพรวมโซลูชันทั้งหมด โปรดไปที่ Data Lake บน AWS

หากต้องการความช่วยเหลือเมื่อใช้โซลูชัน Data Lake โปรดไปที่คู่มือช่วยเหลือออนไลน์

โครงสร้างไฟล์

โครงการ Data Lake ประกอบด้วยไมโครเซอร์วิสที่อำนวยความสะดวกในด้านการทำงานของโซลูชัน ไมโครเซอร์วิสเหล่านี้ปรับใช้กับสภาพแวดล้อมแบบไร้เซิร์ฟเวอร์ใน AWS Lambda

 |-deployment/ [โฟลเดอร์ที่มีเทมเพลตและสคริปต์บิลด์]
|-ที่มา/
  |-api/
    |-authorizer/ [ผู้อนุญาตที่กำหนดเองสำหรับเกตเวย์ api]
    |-บริการ/
      |-admin/ [ไมโครเซอร์วิสสำหรับฟังก์ชันการดูแลระบบ Data Lake]
      |-cart/ [ไมโครเซอร์วิสสำหรับฟังก์ชัน Data Lake Cart]
      |-logging/ [ไมโครเซอร์วิสสำหรับการบันทึกการตรวจสอบ Data Lake]
      |-manifest/ [ไมโครเซอร์วิสสำหรับการประมวลผลรายการ Data Lake]
      |-package/ [ไมโครเซอร์วิสสำหรับฟังก์ชันแพ็คเกจ Data Lake]
      |-profile/ [ไมโครเซอร์วิสสำหรับฟังก์ชันโปรไฟล์ผู้ใช้ Data Lake]
      |-search/ [ไมโครเซอร์วิสสำหรับฟังก์ชันการค้นหา Data Lake]
  |-cli/ [อินเทอร์เฟซบรรทัดคำสั่ง data lake]
  |-console/ [คอนโซลการจัดการ data lake เชิงมุม js]
  |-ทรัพยากร/
    |-access-validator/ [โมดูลเสริมที่ใช้ในการตรวจสอบสิทธิ์แบบละเอียด]
    |-helper/ [ตัวช่วยที่กำหนดเองสำหรับเทมเพลตการปรับใช้ CloudFormation]

ไมโครเซอร์วิสแต่ละรายการมีโครงสร้างดังนี้:

 |-ชื่อบริการ/
  |-lib/
    |-[ไลบรารีโมดูลบริการและการทดสอบหน่วย]
  |-index.js [จุดฉีดสำหรับไมโครเซอร์วิส]
  |-package.json

เริ่มต้นใช้งาน

01. ข้อกำหนดเบื้องต้น

ขั้นตอนต่อไปนี้จะถือว่าการกำหนดค่าระดับ OS ทั้งหมดเสร็จสมบูรณ์แล้ว พวกเขาคือ:

  • อินเทอร์เฟซบรรทัดคำสั่ง AWS
  • โหนด js 12.x

โซลูชัน Data Lake ได้รับการพัฒนาด้วย Node.js สำหรับไมโครเซอร์วิสที่ทำงานใน AWS Lambda และ Angular 1.x สำหรับอินเทอร์เฟซผู้ใช้คอนโซล เวอร์ชันล่าสุดของโซลูชัน Data Lake ได้รับการทดสอบกับ Node.js v12.x

02. สร้างโซลูชัน Data Lake

โคลนพื้นที่เก็บข้อมูล GitHub aws-data-lake-solution: 

 git clone https://github.com/awslabs/aws-data-lake-solution.git

03. ประกาศตัวแปรสภาพแวดล้อม: 

 export AWS_REGION=<aws-region-code>
export SOLUTION_NAME=<your-solution-name>
export VERSION_CODE=<version-code>
export DEPLOY_BUCKET=<source-bucket-base-name>
export CLOUDFORMATION_TEMPLATE_BUCKET=<cloudformation-template-bucket-name>
  • aws-region-code : รหัสภูมิภาค AWS เช่น us-east-1 , us-west-2 ...
  • your-solution-name : ชื่อโซลูชันที่คุณกำหนดเอง เช่น aws-data-lake-solution
  • version-code : เวอร์ชันของแพ็คเกจ เช่น v1.0.0
  • source-bucket-base-name : ชื่อของตำแหน่งบัคเก็ต S3 ที่เทมเพลตจะใช้ซอร์สโค้ด Lambda เทมเพลตจะต่อท้าย -[aws-region-code] ต่อท้ายชื่อบัคเก็ตนี้ ตัวอย่างเช่น: ./build-s3-dist.sh solutions aws-data-lake-solution v2.0.0 solutions เทมเพลตจะคาดหวังว่าซอร์สโค้ดจะอยู่ในบัคเก็ต solutions-[aws-region-code]
  • cloudformation-template-bucket-name : ชื่อของบัคเก็ต S3 ที่จะมีเทมเพลต CloudFormation

04. รันการทดสอบหน่วยโซลูชัน Data Lake: 

 cd ./aws-data-lake-solution/deployment
chmod +x run-unit-tests.sh
./run-unit-tests.sh

05. สร้างโซลูชัน Data Lake สำหรับการปรับใช้: 

 chmod +x build-s3-dist.sh
./build-s3-dist.sh $DEPLOY_BUCKET $SOLUTION_NAME $VERSION_CODE $CLOUDFORMATION_TEMPLATE_BUCKET

06. อัปโหลดเนื้อหาการปรับใช้ไปยังบัคเก็ต Amazon S3 ของคุณ: 

 aws s3 cp ./global-s3-assets s3://$CLOUDFORMATION_TEMPLATE_BUCKET/$SOLUTION_NAME/$VERSION_CODE --recursive --acl bucket-owner-full-control
aws s3 cp ./regional-s3-assets s3://$DEPLOY_BUCKET-$AWS_REGION/$SOLUTION_NAME/$VERSION_CODE --recursive --acl bucket-owner-full-control

07. ปรับใช้โซลูชัน Data Lake:

  • จากบัคเก็ต Amazon S3 ที่คุณกำหนดซึ่งคุณอัปโหลดสินทรัพย์การปรับใช้ ให้คัดลอกตำแหน่งลิงก์สำหรับ data-lake-deploy.template หรือ data-lake-deploy-federated.template
  • การใช้ AWS CloudFormation เปิดใช้งานสแต็กโซลูชัน Data Lake โดยใช้ลิงก์ Amazon S3 ที่คัดลอกไว้สำหรับ data-lake-deploy.template หรือ data-lake-deploy-federated.template

ปัจจุบัน โซลูชัน Data Lake สามารถใช้งานได้ในภูมิภาคต่อไปนี้: [ us-east-1, us-east-2, us-west-2, eu-west-1, eu-west-2, eu-central-1 , ap-ตะวันออกเฉียงเหนือ-1, ap-ตะวันออกเฉียงเหนือ-2, ap-ตะวันออกเฉียงใต้-2, ap-south-1 ]

การรวบรวมตัวชี้วัดการดำเนินงาน

โซลูชันนี้รวบรวมตัววัดการปฏิบัติงานที่ไม่เปิดเผยตัวตนเพื่อช่วย AWS ปรับปรุงคุณภาพและคุณสมบัติของโซลูชัน สำหรับข้อมูลเพิ่มเติม รวมถึงวิธีปิดการใช้งานความสามารถนี้ โปรดดูคู่มือการใช้งาน

ลิขสิทธิ์ 2019 Amazon.com, Inc. หรือบริษัทในเครือ สงวนลิขสิทธิ์.

ได้รับอนุญาตภายใต้ Apache License เวอร์ชัน 2.0 ("ใบอนุญาต"); คุณไม่สามารถใช้ไฟล์นี้ได้เว้นแต่จะเป็นไปตามใบอนุญาต คุณสามารถขอรับสำเนาใบอนุญาตได้ที่

http://www.apache.org/licenses/LICENSE-2.0

เว้นแต่กฎหมายที่ใช้บังคับกำหนดหรือตกลงเป็นลายลักษณ์อักษร ซอฟต์แวร์ที่เผยแพร่ภายใต้ใบอนุญาตนี้จะถูกแจกจ่าย "ตามที่เป็น" โดยไม่มีการรับประกันหรือเงื่อนไขใดๆ ทั้งโดยชัดแจ้งหรือโดยนัย ดูใบอนุญาตสำหรับภาษาเฉพาะที่ควบคุมการอนุญาตและข้อจำกัดภายใต้ใบอนุญาต

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด