缓存预热
问题排查
应用服务如果里面使用redis，服务器启动以后会快速“宕机”，这个只是对外的一个现象。
请求数量较高主从之间数据吞吐量较大，数据同步操作频率较高数据库取的频度比较高
在高请求之前，做好一系列措施，保证大量用户数量点击造成灾难
缓存预热解决方案
前置准备工作：
日常例行统计数据访问记录，统计访问频度较高的热点数据利用LRU数据删除策略，构建数据留存队列
例如：storm与kafka配合
准备工作：
将统计结果中的数据分类，根据级别，redis优先加载级别较高的热点数据利用分布式多服务器同时进行数据读取，提速数据加载过程
实施：
使用脚本程序固定出大数据预热过程如果条件允许，使用CDN（内容分发网络），效果会更好
总结缓存预热的原因：
缓存预热就是系统启动前（启动前的时候数据不能零），提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题！用户直接查询事先被预热的缓存数据!
缓存雪崩
数据库服务器崩溃（1）
系统平稳运行过程中，忽然数据库连接量激增应用服务器无法及时请求大量408，500错误页面出现客户反复刷新页面获取数据数据库崩溃应用服务器崩溃重启应用服务器无效Redis服务器崩溃Redis集群崩溃重启数据之后再次被瞬间流量放倒CPU占用过高、使用率过频繁
问题排查
在一个较短的时间内，缓存中较多的key集中过期此周期内请求访问过期的数据，redis未命中，redis向数据库获取数据数据库同时接受到大量的请求无法即时处理Redis大量请求被积压，开始出现超时现象数据库流量激增，数据库崩溃重启后任然面对缓存中无数据可用Redis服务器资源被严重占用，Redis服务器崩溃Redis集群呈现崩塌，集群瓦解应用服务器无法即时得到数据响应请求，来自客户端的请求数量越来越多，应用服务器崩溃应用服务器，redis，数据库全部重启，效果不理想
问题分析
短时间范围内大量key集中过期
解决方案（道）
更多数据从redis取，构建页面静态化处理构建多级缓存架构
Nginx缓存+redis缓存+ehcache缓存检测Mysql严重耗时业务进行优化
对数据库的瓶颈排查：例如超时查询、耗时较高事务等灾难预警机制
监控redis服务器性能指标
1、CPU占用、CPU使用率
2、内存容量
3、查询平均响应时间
4、线程数限流、降级
短时间范围内习生一些客户体验，限制一部分请求访问，降低应用服务器压力，待业务低速运转后再逐渐放开访问
解决方案（术）
LRU（到期删除）与LFU（计数删除）切换数据有效期策略调整
根据业务数据有效期进行分类错峰，A类90分钟，B类80分钟，C类70分钟
过期时间使用固定形式+随机值的形式，稀释集中到期的key的数量超热数据使用永久key，超热跟热点要区分开，超热永久key迟早会崩定期维护（自动脚本+人工）
对即将过期数据做访问量分析，确认是否演示，配合访问量统计，做热点数据的延时加锁
慎用！因为加锁后拿的到锁就干活，拿不到锁就不干活，就得停
总结雪崩的原因：
当我们的客户端去访问我们系统时，通过我们Nginx分发到我们tomcat走到我们redis，redis的数据本该命中给它，如果没有命中，它去数据库取。结果现在大量的key集中过期了，redis这边无法得到有效的命中，于是它们就不走redis，而是向我们的数据库发出了更多的请求，就相当于redis空设了。
把它的过期时间给错开，就分流开，通过随机值来解决它，另外还有其他的策略。
缓存雪崩式瞬间过期数量太大，导致对数据库服务器造成压力。如果能有效避免过期时间集中，可以有效解决雪崩现象的出现（约40%）。配合其他策略一起使用，并监控服务器的运行数据，根据运行巨鹿做快速调整。
缓存击穿
数据库服务器崩溃（2）
系统平稳运行过程中数据库连接量瞬间激增Redis服务器无大量key过期Redis内存平稳，无波动Redis服务器CPU正常数据库崩溃
问题排查
Redis中某一个key过期，该key访问量巨大，redis没有命中就放行了，导致数据库查询瞬间激增多个数据请求从服务器直接压到Redis后，均为命中Redis在短时间内发起了大量对数据库中同一个数据的访问
问题分析
单个key高热数据key过期
解决方案（术）
预先设定
以电商为例，每个商家根据店铺等级，指定若干款主打商品，在购物节期间，加大此类信息key的过期时常
注意：购物节不仅仅指当天，以及后续若干天，访问峰值呈现逐渐降低趋势现场调整
监控访问量，对自然流量激增的数据延长过期时间或设置为永久性key后台刷新数据
启动定时任务，高峰期来临之前，刷新数据有效期，保存不丢失二级缓存
设置不同的失效时间，保障不会被同时淘汰就行加锁
分布式锁：保证对于每个key同时只能一个线程去查询后端服务，其他线程没有获得分布式锁的权限，因此只需要等待即可。这种方式高并发的压力转移到了分布式锁，因此对分布式锁的考验很大。防止被击穿，但是要注意也是性能瓶颈，慎重！！！！！！！！
总结击穿的原因：
与雪崩相比它的数量变少了，是单个高热数据过期，瞬间访问量比较大，然后redis没有命中，同时发起了对数据库的暴力访问，导致的这种现象。最终导致数据库崩溃。应对策略应该在业务数据分析与预防方面进行，配合运行监控测试与即时调整策略，毕竟单个key的过期监控难度较高，配合雪崩处理策略即可。
缓存穿透
概念
用户想要查询一个数据，发现redis内存数据库中没有，也就是缓存未命中。于是向持久层数据库查询，发现也没有，于是本次查询就失败。当用户很多的时候，缓存都没有命中（秒杀），于是都去请求持久层数据库，这会给持久层数据库造成很大压力，这时候就相当于出现了缓存穿刺。
数据库服务器崩溃（3）
系统平稳运行过程中应用服务器流量随时间增量较大Redis服务器命中率随时间逐步降低Redis内存平稳，内存无压力Redis服务器CPU占用激增数据库服务器压力激增数据库崩溃
问题排查
redis中大面积出现未命中出现非正常URL访问
问题分析
获取的数据在数据库中也不存在，数据库查询未得到对应数据Redis获取到null数据未进行持久化，直接返回下次此类数据到达重复上述过程出现黑客攻击服务器，访问一些不存在的URK，想办法穿透redis，对数据库进行攻击，这种攻击是为搞瘫痪服务器
解决方法（术）
缓存空对象
对查询结果为null的数据进行缓存（长期使用，定期清理），设定短时限，例如30-60秒，最高五分钟白名单策略（布隆过滤器 ）
提前预热各种分类数据id对应的bitmaps,id作为bitmaps的offset,相当于设置了数据白名单。当加载正常数据后放型，加载异常数据时直接拦截（效率偏低）
使用布隆过滤器（有关布隆过滤器的命中问题对当前状态可以忽略）实时监控
试试监控redis命中率（业务正常范围时，通常回有一个波动值）与null数据的占比
非活动时间波动：通常检测3-5倍，超过5倍纳入重点排查对象
活动时间波动：通常检测10-50倍，超过50倍纳入重点排查对象
根据背书不同，启动不同的排查流程。然后使用黑名单进行防控（运营）key加密
问题出现后，临时启动防灾业务key,对key进行业务层传输加密服务，设定校验程序，过来的key校验
例如每天随机分配60个加密串，挑选2-3个，混淆到页面数据id中，发现访问key不满足规则，驳回数据访问
布隆过滤器是一种数据结构，对所有可能查询的参数以hash形式存储，在控制层先进行校验，不符合就丢弃，从而避免了对底层存储系统的查询压力；
总结穿透的原因：
缓存穿透是访问了不存在的数据，redis跟数据库都不存在跳过了合法数据的redis数据缓存阶段，每次访问数据库，导致对数据库服务器造成压力。通常此类数据的出现量是一个较低的值，当出现此类情况以毒攻毒，并即时报警。应对策略应该在临时预案防范方面多做文章
无论是黑名单还是白名单，都是对整体系统的压力，警报解除后尽快移除
性能指标监控
性能指标：5个指标
性能指标：Performance
内存指标：Memory
基本活动指标：Basic activity
持久性指标：Persistence
错误指标：Error
监控方式
工具
Cloud Insght RedisPrometheusRedis-statRedis-fainaRedisLivezabbix
命令benchmarkredis cli
monitor
showlog
redis压力测试工具redis-benchmark
monitor
slowlog
