300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > hbase数据库连接池 未设置最大链接数导致数据库操作异常频发

hbase数据库连接池 未设置最大链接数导致数据库操作异常频发

时间:2021-04-02 21:45:12

相关推荐

hbase数据库连接池 未设置最大链接数导致数据库操作异常频发

简介

业务中将主要数据存储定位hbase存储,近期突然发现数据比对不上,发现实在创建环节发生异常导致逻辑执行终端(hbase存储或查询出现异常)。

表现:

供应商提供参考:

供应商提供的解决方案:

关闭超过90s未使用的链接是一种保护方案,可以重新链接一下就好了

第一次按照解决方案优化结果

按照供应商提供的解决思路,对核心调用环节增加了异常捕获和重试(4次),依然还是有很多超过两次以上的异常报错,因为可能造成的影响很大,因此继续和供应商沟通是否有彻底解决方案,避免此类问题出现或者将降低频率降到最低,每天遇到几百次异常这个意味着我们应用属于不稳定不可靠

再次沟通,确认为什么需要释放链接以及满足什么条件释放超过90s未使用的链接

1.服务端链接数超过1000

2.链接超过90s未使用

应用现状

1.目前hbase实例只有我们一个业务再用

2.连接池初始值和最小连接数初始值都是10

3.未设置最大链接数据(最主要)

4.集群大小8

问题定位

1.因为业务有大量读写需求,可能会有负载不均的情况导致链接增长过快

2.连接池参数配置不合理

解决方案

1.现有代码不进行调整

2.设置最大链接数结合集群数量确保已知连接数不超过1000或控制在500以内

注:链接池连接数并不是越大越好,创建和释放链接都是比较消耗资源和耗时的

3.最大链接数设置为50 (50*8=400)

注:集群最多占用400个链接不会触发服务端链接释放

结果:

重启应用后链接释放异常得到解决,后续还需要持续观察两天。目前看已经彻底解决

参考资料:

通过Lindorm宽表SQL Java API连接并使用宽表引擎

数据库连接池的大小你真的设置对了吗

Apache Druid数据库连接池的大小你真的设置对了吗

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。