近日kafka发布了最新版本 2.5.0,增加了很多新功能:
下载地址:
对tls 1.3的支持(默认为1.2)
引入用于 kafka streams 的 co-groups
用于 kafka consumer 的增量 rebalance 机制
为更好的监控操作增加了新的指标
升级zookeeper至 3.5.7
取消了对scala 2.1.1的支持
下面详细说明本次更新:
当多个流聚集在一起以形成单个较大的对象时(例如,购物网站可能具有购物车流,心愿单流和购买流。它们共同构成一个客户),将其在kafka streams dsl中使用非常困难。
通常需要您将所有流分组并聚合到ktables,然后进行多个外部联接调用,最后得到具有所需对象的ktable。这将为每个流和一长串valuejoiners创建一个状态存储,每个新记录都必须经过此连接才能到达最终对象。
创建使用单个状态存储的cogroup 方法将:
减少从状态存储获取的数量。对于多个联接,当新值进入任何流时,都会发生连锁反应,联接处理器将继续调用valuegetters,直到我们访问了所有状态存储。
性能略有提高。如上所述,所有valuegetters都被调用,还导致所有valuejoiners被调用,从而强制重新计算所有其他流的当前联接值,从而影响性能。
java 11添加了对tls 1.3的支持。添加对java 11的支持后,我们应该对此提供支持。
为什么不再支持?
我们目前为3个scala版本构建kafka:2.11、2.12和最近发布的2.13。由于我们必须在每个受支持的版本上编译和运行测试,因此从开发和测试的角度来看,这是一笔不小的成本。
scala 2.11.0于2014年4月发布,对2.11.x的支持于2017年11月结束(到发布kafka 2.5时将超过2年)。scala 2.12.0于2016年11月发布,scala 2.13.0于2019年6月发布。基于此,现在该放弃对scala 2.11的支持了,以便我们使测试矩阵易于管理(最近的kafka-trunk-jdk8占用了将近10个小时,它将使用3个scala版本构建并运行单元测试和集成测试。此外,scala 2.12和更高版本还改进了与java 8功能接口的互操作性(scala 2.12中首次引入)。更具体地说,scala 2.12中的lambda可以与java 8代码相同的方式与java 8功能接口一起使用。
在我们的下载页面中,我们推荐自kafka 2.1.0起使用scala 2.12构建的kafka二进制文件。我们切换到scala 2.12作为kafka 2.2.0中源tarball,构建和系统测试的默认scala版本。
[kafka-3061] 修复guava依赖问题
[kafka-4203] java生产者默认的最大消息大小不再与broker默认一致
[kafka-5868] kafka消费者reblance时间过长问题
如果要从2.1.x之前的版本升级,请参阅以下注释,以了解用于存储偏移量的架构的更改。将inter.broker.protocol.version更改为最新版本后,将无法降级到2.1之前的版本。
在所有broker上更新server.properties并添加以下属性。current_kafka_version指的是您要升级的版本。current_message_format_version是指当前使用的消息格式版本。如果以前覆盖了消息格式版本,则应保留其当前值。或者,如果要从0.11.0.x之前的版本升级,则应将current_message_format_version设置为与current_kafka_version相匹配。
inter.broker.protocol.version
并将其设置为2.5来提高协议版本 。2.5.0主要的变化,可能产生的升级影响
rebalanceprotocol#cooperative
使用时,consumer#poll
仍然可以返回数据,此外, consumer#commitsync
现在可以抛出rebalanceinprogressexception来通知用户此类事件,commitfailedexception
并允许用户完成正在进行的reblance,然后重新尝试为那些仍然拥有的分区提交偏移量。zookeeper.session.timeout.ms
已从6s增加到18s, replica.lag.time.max.ms
从10s增加到30s。cogroup()
添加了新的dsl运营商,用于一次将多个流聚合在一起。kstream.totable()
api,可将输入事件流转换为ktable。void
以表示输入主题中的空键或空值。useprevioustimeoninvalidtimestamp
并替换为usepartitiontimeoninvalidtimestamp
。kafkastreams.store(string, queryablestoretype)
并替换为kafkastreams.store(storequeryparameters)
。kafka.security.auth
均已弃用。请注意,在2.4.0中已弃用kafka.security.auth.authorizer
和kafka.security.auth.simpleaclauthorizer
。ssl.protocol
和中明确启用它们来继续使用tlsv1和tlsv1.1 ssl.enabled.protocols
。
如对本文有疑问, 点击进行留言回复!!
去 HBase,Kylin on Parquet 性能表现如何?
如何找到Hive提交的SQL相对应的Yarn程序的applicationId
如何在 HBase Shell 命令行正常查看十六进制编码的中文?哈哈~
HBase Filter 过滤器之 Comparator 原理及源码学习
网友评论