Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Redis击穿,穿透,雪崩产生原因及其解决思路

Redis击穿,穿透,雪崩产生原因及其解决思路

原创
作者头像
iginkgo18
修改于 2022-01-12 16:29:11
修改于 2022-01-12 16:29:11
6710
举报
文章被收录于专栏:devops_k8sdevops_k8s

1 击穿

大家都知道,计算机的瓶颈之一就是IO,为了解决内存与磁盘速度不匹配的问题,产生了缓存,将一些热点数据放在内存中,随用随取,降低连接到数据库的请求链接,避免数据库挂掉。需要注意的是,无论是击穿还是后面谈到的穿透与雪崩,都是在高并发前提下,当缓存中某一个热点key失效,

1.1 为什么会有击穿发生尼?

两个原因

Key过期

Key被页面置换淘汰

对于第一个原因是因为在Redis中,Key有过期时间,如果某一个时刻(假如商城做活动,零点开始)key失效,那么零点之后对某一个商品查询请求将全都压到数据库上,导致数据库崩。

对于第二个原因,因为内存是有限的,要时时刻刻缓存新的数据,淘汰旧的数据,所以在一定的页面置换策略中,淘汰数据,如果某些商品做活动之前无人问津,势必会被淘汰。

1.2 应对击穿的处理思路

正常的处理请求如图:

由于key过期在所难免,高流量来到Redis时,根据Redis的单线程特性,可以认为任务是在队列里依次执行的,当请求到达Redis发现Key过期时,进行一个操作:设置锁

这个流程大概如下:

  1. 请求到达Redis,发现Redis Key过期,查看有没有锁,没有锁的话回到队列后面排队
  2. 设置锁,注意,这儿应该是setnx(),而不是set(),因为可能有其他线程已经设置锁了
  3. 获取锁,拿到锁了就去数据库取数据,请求返回后释放锁。

但是引出了一个新的问题,如果拿到锁去拿数据的请求然后挂了怎么办?也就是锁没有释放,其他进程都在等锁,解决办法是:

对锁设置一个过期时间,如果到达了过期时间还没释放就自动释放,问题又来了,锁挂了好说,但是如果是锁超时呢?也就是在设定的时间里数据没有取出来,但是锁由过期了,常见的思路是,锁过期时间值递增,但是想想不靠谱,因为第一个请求可能超时,如果后面的也超时呢,接连多次超时之后,锁过期时间值势必特别大了,这样做弊端太多。

另外一个思路是,再开启一个线程,进行监控,如果取数据的线程没有挂的话,就适当延迟锁的过期时间。

2 穿透

穿透主要原因是很多请求都在访问数据库不存在的数据,例如一个卖书的商城一直被请求查询茶叶产品,由于Redis缓存主要是用来缓存热点数据,对于数据库都不存在的数据,是没法缓存的,这种异常流量就会直接到达数据库并且返回"没有"的查询结果。

应对这种请求,处理办法是对访问请求加一层过滤器,例如布隆过滤器、增强版布隆过滤器、布谷鸟过滤器;

除了布隆过滤器,可以增加一些参数检验,例如数据库数据id一般都是递增的,如果请求 id = -10 这种参数,势必绕过Redis,避免这种情况,可以对用户真实性检验等操作。

3 雪崩

雪崩,和击穿类似,不同的是击穿是一个热点Key某时刻失效,而雪崩是大量的热点Key在一瞬间失效,网络上很多博客都在强调解决雪崩的策略是随机过期时间,这个非常不准确,举个例子,银行做活动,之前这个利息系数为2%,过了零点系数改为3%,这种情况能将用户的对应的key改为随机过期吗?如果用的过去的数据叫脏数据。

明显不可以,同样存钱,你存到年底利息300万,隔壁才200万,这不得打架啊,开玩笑~

正确的思路是,首先要看看这个Key过期是不是时点性有关,时点性无关的话,可以随机过期时间解决。

如果是时点性有关,例如刚刚说的银行某一天改变某系数,那么就要利用强依赖击穿方案,策略是先过去的线程更新一下所有key;

在后台更新热点key的同时,业务层将进来的请求延时一下,例如短暂的睡几毫秒或者秒,给后面的更新热点key分散压力。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Redis击穿、穿透、雪崩产生原因以及解决思路
大家都知道,计算机的瓶颈之一就是IO,为了解决内存与磁盘速度不匹配的问题,产生了缓存,将一些热点数据放在内存中,随用随取,降低连接到数据库的请求链接,避免数据库挂掉。需要注意的是,无论是击穿还是后面谈到的穿透与雪崩,都是在高并发前提下 ,当缓存中某一个热点key失效,
芋道源码
2021/11/10
5250
Redis详解(十二)------ 缓存穿透、缓存击穿、缓存雪崩
本篇博客我们来介绍Redis使用过程中需要注意的三种问题:缓存穿透、缓存击穿、缓存雪崩。
IT可乐
2020/06/02
50.6K1
Redis 缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?
原始数据存储在 DB 中(如 MySQL、Hbase 等),但 DB 的读写性能低、延迟高。
码哥字节
2022/04/08
1.7K0
Redis 缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?
Redis缓存雪崩、缓存穿透、热点Key解决方案和分析
转载自  https://blog.csdn.net/wang0112233/article/details/79558612
allsmallpig
2021/02/25
7310
【玩转Redis面试第4讲】Redis缓存雪崩、缓存穿透、缓存击穿对比看这一篇就够了
缓存穿透是指用户请求的数据在缓存中不存在即没有命中,同时在数据库中也不存在,导致用户每次请求该数据都要去数据库中查询一遍,然后返回空。
爱笑的架构师
2020/09/24
8540
【玩转Redis面试第4讲】Redis缓存雪崩、缓存穿透、缓存击穿对比看这一篇就够了
Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁
大量缓存数据同一时间过期或者redis故障时,此时大量用户请求直接打到数据库,造成数据库宕机
javaNice
2023/11/19
3850
搞懂 Redis 缓存穿透、击穿、雪崩
如何有效的理解并且区分 Reids 穿透、击穿和雪崩之间的区别,一直以来都挺困扰我的。特别是穿透和击穿,过一段时间就稀里糊涂的分不清了。
用户4464623
2020/09/10
5400
搞懂 Redis 缓存穿透、击穿、雪崩
下馆子也能造成redis缓存雪崩?redis缓存击穿?
朋友张三给我讲了一个故事,还给我简单谈了谈redis的常见面试问题以及解决思路。张三某日去一家闻名小镇的苍蝇馆子吃饭,碰巧今天小镇有活动,张三一行人见状抓紧前行...
灬沙师弟
2022/09/24
2360
【缓存】缓存穿透、缓存雪崩、缓存击穿
缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时需要从数据库查询,查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库去查询,造成缓存穿透。
Leetcode名企之路
2018/10/25
2.6K0
【缓存】缓存穿透、缓存雪崩、缓存击穿
彻底搞懂Redis击穿、雪崩、穿透(上)
缓存雪崩、穿透以及击穿,作为老生常谈的问题,也是面试八股文中经常被提及的话题。因为目前的互联网系统没有几个不需要用缓存的。然而,对于缓存的这三个问题,很多人只是单纯的背过答案(比如布隆过滤器、分布式锁等),却少有人能够清楚地理解其思路。本文旨在深入浅出地探讨和分析这三大缓存问题。强调的是,真正有价值的不仅是答案本身,更是解答背后的思考和推导过程。如果能够理解这些问题的根本原因,才能更好地应对类似的挑战。
测试蔡坨坨
2023/11/20
9110
彻底搞懂Redis击穿、雪崩、穿透(上)
Redis缓存击穿、雪崩、穿透
缓存穿透 简单地就是用户请求透过redis直接进入到mysql当中进行查询,通常是一个不存在的key,在数据库查询为null。每次请求落在数据库、并且高并发。数据库扛不住会挂掉。 当用户的请求进入到Redis当中的时候,Redis当中并没有用户查询的键。 Redis会告诉用户没有查询到此Key,随后请求会被直接转发到后台MySQL当中 MySQL当中自然也不会存在此键值对,所以当大量的请求落在MySQL当中则会导致数据库宕机 解决缓存穿透的方案 可以将查到的null设成该key的缓存对象。 当然,也可
Yuou
2022/09/26
2690
Redis 面试常见问题:缓存雪崩、缓存击穿以及缓存穿透
缓存雪崩是指大量的请求无法在缓存中处理,从而将请求转移到数据库中,导致数据压力倍增。一个Redis实例可以支持万级别的并发请求,而单个数据库只能支持千级别的并发请求。两者处理请求并发能力相差十倍,数据库会由于压力过大而导致雪崩。这里雪崩一般是由两个原因组成,很多文章只写缓存同时过期的情况。
用户10384376
2023/02/25
1.1K0
Redis 面试常见问题:缓存雪崩、缓存击穿以及缓存穿透
redis的缓存穿透、缓存雪崩、缓存击穿怎么搞?
可以将热点数据设置为永远不过期;或者基于 redis or zookeeper 实现互斥锁,等待第一个请求构建完缓存之后,再释放锁,进而其它请求才能通过该 key 访问数据。
Java技术债务
2022/08/09
5060
Redis之缓存穿透,雪崩,击穿解读
当我们请求去查询一条记录,先到redis中查询后到mysql查询都发现找不到该条记录,但是请求每次都会打到数据库上面去,导致后台数据库压力暴增,这些请求像“穿透”了缓存一样直接打在数据库上,这种现象就叫做缓存穿透。这种现象我们称为缓存穿透,这个redis变成了一个摆设。
一个风轻云淡
2023/10/15
3800
不用背八股文!一文搞懂redis缓存击穿、穿透、雪崩!
缓存的击穿、穿透和雪崩,对于这三大缓存的问题,有很多人背过了八股文式的解决方案,面试也能答上一二,却少有人能把思路给理清的。
程序员小义
2024/04/10
4.9K0
不用背八股文!一文搞懂redis缓存击穿、穿透、雪崩!
Redis-缓存雪崩、缓存击穿、缓存穿透
Redis作为目前使用最广泛的缓存,相信大家都不陌生。但是使用缓存并没有这么简单,还要考虑缓存雪崩,缓存击穿,缓存穿透的问题,什么是缓存雪崩,击穿,穿透呢,出现这些问题又怎么解决呢,接下来学习一下吧。
java技术爱好者
2021/02/05
1.4K0
Redis-缓存雪崩、缓存击穿、缓存穿透
Redis 缓存穿透 + 缓存雪崩 + 缓存击穿的原因和解决方案「建议收藏」
在生产环境中,会因为很多的原因造成访问请求绕过了缓存,都需要访问数据库持久层,虽然对Redsi缓存服务器不会造成影响,但是数据库的负载就会增大,使缓存的作用降低
全栈程序员站长
2022/07/02
8040
Redis 缓存穿透 + 缓存雪崩 + 缓存击穿的原因和解决方案「建议收藏」
Redis-缓存穿透、缓存击穿和缓存雪崩
缓存穿透(查不到):查询一个数据时Redis内存数据库没有,缓存未命中,于是向持久层数据库查询发现也不存在,查询失败。当多次缓存未命中时,都去请求持久层数据库造成压力,若用此进行攻击可能压垮数据库。
唔仄lo咚锵
2020/09/15
8090
Redis缓存穿透、缓存击穿和缓存雪崩
缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力,这时候就相当于出现了缓存穿透。
后端码匠
2021/01/14
1.6K0
Redis使用|缓存穿透,雪崩,击穿以及解决方案分析
作为一种非关系型数据库,redis也总是免不了有各种各样的问题,这篇文章主要是针对其中三个问题进行讲解:缓存穿透、缓存击穿和缓存雪崩,并给出一些解决方案。
浅羽技术
2020/12/07
1K0
Redis使用|缓存穿透,雪崩,击穿以及解决方案分析
推荐阅读
相关推荐
Redis击穿、穿透、雪崩产生原因以及解决思路
更多 >
LV.5
这个人很懒,什么都没有留下~
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档