300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 【kafka】kafka topic某些分区 副本落后leader太多

【kafka】kafka topic某些分区 副本落后leader太多

时间:2018-07-23 07:32:07

相关推荐

【kafka】kafka topic某些分区 副本落后leader太多

文章目录

1.概述

本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。

1.概述

社区有人问 kafka topic某些分区 副本落后leader太多有大佬遇到过吗。有没有解决方案[表情]

然后我就想到了以下几个点:

落后很多的话 请查看 网络是不是有问题还有就是irs是不是频繁变动看看集群是不是不稳定

但是经过确认

30多个topic都没有问题,只有一个数据量比较大的topic的某个broker为leader的一些分区有问题,要是集群不稳定的话,其他的topic应该也不会irs频繁变动,但是这里没有。

然后我就想 看看有没有设置,看看有没有设置,获取机器负载比较高。

同步进程没有设置,应该是默认值1,num.replica.fetchers 这个参数

主要是sparkstreaming消费这个topic,某些task拉取时间太长了。然后定位到是isr的问题。我现在给topic加了一倍的分区,spark

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。