amazon kinesis client

Java的Amazon Kinesis客户库库

Java的Amazon Kinesis客户端库（KCL）使Java开发人员能够轻松地从Amazon Kinesis数据流中消耗和处理数据。

• Kinesis数据流产品页面
• Amazon RE：邮政论坛：Kinesis
• Javadoc
• 常问问题
• 开发人员指南 - 运动端客户库
• KCL GitHub文档（文件夹）
• 问题
• 给出反馈

特征

• 可伸缩性： KCL可以通过在多个工人之间分配处理负载来动态扩展应用程序。您可以在不担心重新分配的情况下，手动或自动缩放时将应用程序扩展或使用自动缩放。
• 负载平衡： KCL会自动平衡可用工人之间的处理负载，从而导致跨工人的工作均匀分布。
• 检查点： KCL管理已处理的记录的检查点，使应用程序可以从其最后一次处理的位置恢复处理。
• 容忍度： KCL提供内置的容错机制，即使单个工人失败，数据处理仍在继续。 KCL还提供了至上的一开始交付。
• 处理流级别的更改： KCL适应由于数据量变化而可能发生的碎片分割和合并。它通过确保只有在其父碎片完成并检查其检查站后才能处理子碎片来维持订单。
• 监视： KCL与Amazon CloudWatch集成了用于消费者级别的监视。
• 多语言支持： KCL本地支持Java，并通过Multilangdaemon启用多种非Java编程语言。

入门

1. 注册AWS - 在开始之前，您需要一个AWS帐户。有关创建AWS帐户并检索AWS凭据的更多信息，请参见Java开发人员指南的AWS帐户和AWS SDK中的AWS帐户和凭据。
2. 注册Amazon Kinesis - 转到Amazon Kinesis控制台注册该服务并创建Amazon Kinesis流。有关更多信息，请参阅《亚马逊运动开发人员指南》中的创建亚马逊运动流。
3. 最低要求- 要使用Amazon Kinesis客户端库，您将需要Java 1.8+ 。有关Amazon Kinesis客户库需求的更多信息，请参见您在“ Amazon Kinesis开发人员指南”中开始之前。
4. 使用Amazon Kinesis客户端库- 熟悉Amazon Kinesis客户端库的最佳方法是阅读使用Amazon Kinesis Data Sprines Developer指南中的Kinesis客户端库。有关Core KCL概念的更多信息，请参阅[KCL概念] [Kinesis-Client-Library-Concepts]页面。

从来源建造

从Github下载代码后，您可以使用Maven构建它。要在构建中禁用GPG签名，请使用此命令： mvn clean install -Dgpg.skip=true 。注意：此命令不运行集成测试。

要在构建中禁用运行单元测试，请添加属性-Dskip.ut=true 。

运行集成测试

请注意，运行集成测试创建AWS资源。集成测试需要有效的AWS凭据。这将寻找您本地.aws/credentials中指定的默认AWS配置文件。要运行所有集成测试： mvn verify -DskipITs=false 。要运行一个集成测试，请指定集成测试类： mvn -Dit.test="BasicStreamConsumerIntegrationTest" -DskipITs=false verify ，您可以提供IAM用户/角色的名称，以使用此命令：使用此命令： mvn -DskipITs=false -DawsProfile="<PROFILE_NAME>" verify 。

与Kinesis生产者库集成

对于使用Kinesis生产者库（KPL）的生产者侧开发人员，KCL无需付出额外的努力而集成。当KCL检索由多个KPL用户记录组成的汇总的亚马逊运动记录时，它将自动调用KPL以提取单个用户记录，然后再将其返回给用户。

亚马逊KCL支持其他语言

为了使开发人员更容易用其他语言编写记录处理器，我们实施了一个基于Java的守护程序，称为Multilangdaemon，可以完成所有繁重的举重。我们的方法具有守护程序产生的子过程，进而运行记录处理器，可以用任何语言编写。 Multilangdaemon进程和记录处理器子过程使用定义的协议通过STDIN和Stdout相互通信。记录处理器，儿童过程和碎片之间将有一对一的对应关系。对于Python的开发人员，我们已经将这些实现详细信息抽象了，并揭示了一个接口，使您能够专注于Python中的记录处理逻辑。这种方法使KCL成为语言不可知论，同时在所有语言中提供相同的功能和相似的并行处理模型。

使用KCL

建议将KCL用于Java的推荐方法是从Maven食用它。

版本3.x

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >3.0.1</ version >
</ dependency >

2.x版本

版本2.x跟踪分支

< dependency >
    < groupId >software.amazon.kinesis</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >2.6.0</ version >
</ dependency >

版本1.x

版本1.x跟踪分支

< dependency >
    < groupId >com.amazonaws</ groupId >
    < artifactId >amazon-kinesis-client</ artifactId >
    < version >1.14.1</ version >
</ dependency >

重要的是我们建议使用最新的KCL版本来提高性能和支持。

发行说明

KCL版本	ChangElog
3.x	Master/ChangElog.md
2.x	v2.x/changelog.md
1.x	v1.x/changelog.md

注意

建议为1.x Amazon Kinesis客户端的所有用户升级

我们建议客户迁移至1.14.1或更新，以避免1.14.0版中的已知错误

建议为2.x Amazon Kinesis客户端的所有用户升级

强烈建议使用Amazon Kinesis客户端2.0版的用户升级到2.0.3版或更高版本。在2.0.3之前的版本中已经确定了一个错误，这可能会导致记录交付给错误的记录处理器。**

给出反馈

帮助我们改善运动端客户库！您的参与对于增强运动端客户库至关重要。我们邀请您加入我们的社区，并通过以下方式做出贡献：

• 问题报告：这是我们首选的交流方法。使用此渠道报告错误，建议改进或提出问题。
• 功能请求：分享您的新功能的想法或在我们的问题页面上为现有建议投票。这有助于我们优先考虑开发工作。
• 参加讨论：与其他用户和我们的团队互动，参加我们的讨论论坛。
• 提交拉请请求：如果您已经开发了修复程序或改进，我们欢迎您的代码贡献。

通过通过这些渠道参与，您可以在塑造Kinesis客户库的未来中发挥至关重要的作用。我们重视您的意见，并期待与您合作！