文章目录
1.概述本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。
1.概述
社区有人问 kafka topic某些分区 副本落后leader太多有大佬遇到过吗。有没有解决方案[表情]
然后我就想到了以下几个点:
落后很多的话 请查看 网络是不是有问题还有就是irs是不是频繁变动看看集群是不是不稳定
但是经过确认
30多个topic都没有问题,只有一个数据量比较大的topic的某个broker为leader的一些分区有问题,要是集群不稳定的话,其他的topic应该也不会irs频繁变动,但是这里没有。
然后我就想 看看有没有设置,看看有没有设置,获取机器负载比较高。
同步进程没有设置,应该是默认值1,num.replica.fetchers 这个参数
主要是sparkstreaming消费这个topic,某些task拉取时间太长了。然后定位到是isr的问题。我现在给topic加了一倍的分区,spark