หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

ห้องสมุดไคลเอนต์ Amazon Kinesis สำหรับ Java

Amazon Kinesis Client Library (KCL) สำหรับ Java ช่วยให้นักพัฒนา Java สามารถบริโภคและประมวลผลข้อมูลจากสตรีมข้อมูล Amazon Kinesis ได้อย่างง่ายดาย

  • หน้าผลิตภัณฑ์ Kinesis Data Streams
  • Amazon Re: โพสต์ฟอรัม: Kinesis
  • Javadoc
  • คำถามที่พบบ่อย
  • คู่มือนักพัฒนา - ไลบรารีไคลเอ็นต์ Kinesis
  • เอกสาร KCL GitHub (โฟลเดอร์)
  • ปัญหา
  • ให้ข้อเสนอแนะ

คุณสมบัติ

  • ความสามารถในการปรับขนาด: KCL ช่วยให้แอปพลิเคชันสามารถปรับขนาดได้แบบไดนามิกโดยการแจกจ่ายโหลดการประมวลผลข้ามพนักงานหลายคน คุณสามารถปรับขนาดแอปพลิเคชันของคุณเข้าหรือออกด้วยตนเองหรือด้วยการปรับขนาดอัตโนมัติโดยไม่ต้องกังวลเกี่ยวกับการแจกจ่ายโหลด
  • การโหลดบาลานซ์: KCL ปรับสมดุลโหลดการประมวลผลข้ามพนักงานที่มีอยู่โดยอัตโนมัติส่งผลให้มีการกระจายงานข้ามพนักงานอย่างสม่ำเสมอ
  • การตรวจสอบ: KCL จัดการจุดตรวจของบันทึกที่ประมวลผลทำให้แอปพลิเคชันสามารถดำเนินการต่อจากตำแหน่งที่ประมวลผลได้อย่างประสบความสำเร็จ
  • ความทนทานต่อความผิดพลาด: KCL ให้กลไกการทนต่อความผิดพลาดในตัวตรวจสอบให้แน่ใจว่าการประมวลผลข้อมูลยังคงดำเนินต่อไปแม้ว่าคนงานแต่ละคนจะล้มเหลว KCL ยังให้การส่งมอบอย่างน้อยที่สุด
  • การจัดการการเปลี่ยนแปลงระดับสตรีม: KCL ปรับให้เข้ากับการแยกและการผสานที่อาจเกิดขึ้นเนื่องจากการเปลี่ยนแปลงปริมาณข้อมูล มันยังคงสั่งซื้อโดยตรวจสอบให้แน่ใจว่ามีการประมวลผลเศษเด็กหลังจากที่ผู้ปกครองของพวกเขาเสร็จสิ้นและจุดตรวจสอบ
  • การตรวจสอบ: KCL รวมเข้ากับ Amazon CloudWatch สำหรับการตรวจสอบระดับผู้บริโภค
  • การสนับสนุนหลายภาษา: KCL สนับสนุน Java และเปิดใช้งานภาษาการเขียนโปรแกรมที่ไม่ใช่ Java หลายภาษาผ่าน Multilangdaemon

เริ่มต้น

  1. ลงทะเบียนสำหรับ AWS - ก่อนที่คุณจะเริ่มคุณต้องมีบัญชี AWS สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการสร้างบัญชี AWS และดึงข้อมูลรับรอง AWS ของคุณดูบัญชี AWS และข้อมูลรับรองใน AWS SDK สำหรับคู่มือนักพัฒนา Java
  2. ลงทะเบียนสำหรับ Amazon Kinesis - ไปที่ Amazon Kinesis Console เพื่อลงทะเบียนสำหรับบริการและสร้างสตรีม Amazon Kinesis สำหรับข้อมูลเพิ่มเติมดูสร้างสตรีม Amazon Kinesis ในคู่มือนักพัฒนา Amazon Kinesis
  3. ข้อกำหนดขั้นต่ำ - ในการใช้ห้องสมุดไคลเอนต์ Amazon Kinesis คุณจะต้องใช้ Java 1.8+ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับข้อกำหนดของห้องสมุดไคลเอนต์ Amazon Kinesis โปรดดูก่อนที่คุณจะเริ่มในคู่มือนักพัฒนา Amazon Kinesis
  4. การใช้ไลบรารีไคลเอนต์ Amazon Kinesis - วิธีที่ดีที่สุดในการทำความคุ้นเคยกับไลบรารีไคลเอนต์ Amazon Kinesis คือการอ่านใช้ไลบรารีไคลเอ็นต์ Kinesis ในคู่มือนักพัฒนาข้อมูลสตรีมของ Amazon Kinesis สำหรับข้อมูลเพิ่มเติมเกี่ยวกับแนวคิดหลักของ KCL โปรดดูที่หน้า [KCL Concepts] [Kinesis-client-library-concepts]

อาคารจากแหล่งกำเนิด

หลังจากที่คุณดาวน์โหลดรหัสจาก GitHub คุณสามารถสร้างมันได้โดยใช้ Maven ในการปิดใช้งานการลงชื่อ GPG ในการสร้างให้ใช้คำสั่งนี้: mvn clean install -Dgpg.skip=true หมายเหตุ: คำสั่งนี้ไม่เรียกใช้การทดสอบการรวม

ในการปิดใช้งานการทดสอบหน่วยที่รันในการสร้างให้เพิ่มคุณสมบัติ -Dskip.ut=true

รันการทดสอบการรวม

โปรดทราบว่าการใช้การทดสอบการรวมสร้างทรัพยากร AWS การทดสอบการรวมต้องการข้อมูลรับรอง AWS ที่ถูกต้อง สิ่งนี้จะค้นหาโปรไฟล์ AWS เริ่มต้นที่ระบุไว้ใน. .aws/credentials ในพื้นที่ของคุณ ในการเรียกใช้การทดสอบการรวมทั้งหมด: mvn verify -DskipITs=false ในการเรียกใช้การทดสอบการรวมหนึ่งครั้งให้ระบุคลาสทดสอบการรวม: mvn -Dit.test="BasicStreamConsumerIntegrationTest" -DskipITs=false verify ทางเลือกคุณสามารถระบุชื่อของผู้ใช้/บทบาทของ IAM mvn -DskipITs=false -DawsProfile="<PROFILE_NAME>" verify

การรวมเข้ากับห้องสมุดผู้ผลิต Kinesis

สำหรับนักพัฒนาด้านผู้ผลิตโดยใช้ Kinesis Producer Library (KPL) KCL รวมเข้าด้วยกันโดยไม่ต้องใช้ความพยายามเพิ่มเติม เมื่อ KCL ดึงเร็กคอร์ด Amazon Kinesis ที่รวมกันซึ่งประกอบด้วยระเบียนผู้ใช้ KPL หลายรายการมันจะเรียกใช้ KPL โดยอัตโนมัติเพื่อแยกบันทึกผู้ใช้แต่ละรายการก่อนที่จะส่งคืนให้กับผู้ใช้

การสนับสนุน Amazon KCL สำหรับภาษาอื่น ๆ

เพื่อให้ง่ายขึ้นสำหรับนักพัฒนาที่จะเขียนโปรเซสเซอร์บันทึกในภาษาอื่น ๆ เราได้ใช้ daemon ที่ใช้ Java ซึ่งเรียกว่า Multilangdaemon ที่ยกทั้งหมด วิธีการของเรามี Daemon วางไข่กระบวนการย่อยซึ่งจะดำเนินการโปรเซสเซอร์บันทึกซึ่งสามารถเขียนได้ในภาษาใด ๆ กระบวนการ multilangdaemon และกระบวนการย่อยโปรเซสเซอร์บันทึกสื่อสารกันมากกว่า stdin และ stdout โดยใช้โปรโตคอลที่กำหนด จะมีการติดต่อแบบหนึ่งต่อหนึ่งในหมู่โปรเซสเซอร์บันทึกกระบวนการเด็กและเศษ สำหรับนักพัฒนา Python โดยเฉพาะเราได้สรุปรายละเอียดการใช้งานเหล่านี้ออกไปและเปิดเผยอินเทอร์เฟซที่ช่วยให้คุณสามารถมุ่งเน้นไปที่การเขียนตรรกะการประมวลผลบันทึกใน Python วิธีการนี้ช่วยให้ KCL เป็นผู้ไม่เชื่อเรื่องพระเจ้าในขณะที่ให้คุณสมบัติที่เหมือนกันและรูปแบบการประมวลผลแบบขนานที่คล้ายกันในทุกภาษา

ใช้ KCL

วิธีที่แนะนำในการใช้ KCL สำหรับ Java คือการบริโภคจาก Maven

เวอร์ชัน 3.x 

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >3.0.1</ version >
</ dependency >

เวอร์ชัน 2.x

เวอร์ชัน 2.x การติดตามสาขา 

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >2.6.0</ version >
</ dependency >

เวอร์ชัน 1.x

เวอร์ชัน 1.x การติดตามสาขา 

< dependency >
    < groupId >com.amazonaws</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >1.14.1</ version >
</ dependency >

สำคัญ เราขอแนะนำให้ใช้ KCL รุ่นล่าสุดเพื่อปรับปรุงประสิทธิภาพและการสนับสนุน

บันทึกย่อ

KCL เวอร์ชัน การเปลี่ยนแปลง
3.x Master/Changelog.md
2.x v2.x/changelog.md
1.x v1.x/changelog.md

ประกาศ

แนะนำการอัพเกรดสำหรับผู้ใช้ทั้งหมดของไคลเอนต์ 1.x Amazon Kinesis

เราขอแนะนำให้ลูกค้าย้ายไปที่ 1.14.1 หรือใหม่กว่าเพื่อหลีกเลี่ยงข้อบกพร่องที่รู้จักในเวอร์ชัน 1.14.0

แนะนำการอัพเกรดสำหรับผู้ใช้ทั้งหมดของลูกค้า 2.x Amazon Kinesis

ขอแนะนำอย่างยิ่งสำหรับผู้ใช้รุ่น 2.0 ของไคลเอนต์ Amazon Kinesis เพื่ออัพเกรดเป็นเวอร์ชัน 2.0.3 หรือใหม่กว่า มีการระบุข้อผิดพลาดในรุ่นก่อน 2.0.3 ซึ่งอาจทำให้บันทึกถูกส่งไปยังหน่วยประมวลผลบันทึกที่ไม่ถูกต้อง **

ให้ข้อเสนอแนะ

ช่วยเราปรับปรุงห้องสมุดไคลเอนต์ Kinesis! การมีส่วนร่วมของคุณเป็นสิ่งสำคัญในการเสริมสร้างห้องสมุดไคลเอนต์ Kinesis เราขอเชิญคุณเข้าร่วมชุมชนของเราและมีส่วนร่วมในวิธีต่อไปนี้:

  • การรายงานปัญหา: นี่เป็นวิธีการสื่อสารที่เราต้องการ ใช้ช่องทางนี้เพื่อรายงานข้อบกพร่องแนะนำการปรับปรุงหรือถามคำถาม
  • คำขอคุณสมบัติ: แบ่งปันแนวคิดของคุณสำหรับคุณสมบัติใหม่หรือลงคะแนนสำหรับข้อเสนอที่มีอยู่ในหน้าปัญหาของเรา สิ่งนี้ช่วยให้เราจัดลำดับความสำคัญของความพยายามในการพัฒนา
  • มีส่วนร่วมในการอภิปราย: มีส่วนร่วมกับผู้ใช้คนอื่น ๆ และทีมงานของเราในฟอรัมการสนทนาของเรา
  • ส่งคำขอดึง: หากคุณได้พัฒนาการแก้ไขหรือปรับปรุงเรายินดีต้อนรับการมีส่วนร่วมของรหัสของคุณ

โดยการเข้าร่วมผ่านช่องทางเหล่านี้คุณมีบทบาทสำคัญในการกำหนดอนาคตของห้องสมุดไคลเอนต์ Kinesis เราให้ความสำคัญกับการป้อนข้อมูลของคุณและหวังว่าจะได้ร่วมมือกับคุณ!

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด