前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

原创
作者头像
javaNice
发布于 2023-11-19 03:24:22
发布于 2023-11-19 03:24:22
35700
代码可运行
举报
文章被收录于专栏:javanicejavanice
运行总次数:0
代码可运行

Redis缓存雪崩、击穿、穿透解释及解决方法,缓存预热,布隆过滤器 ,互斥锁

📜 缓存雪崩

📘解释:

大量缓存数据同一时间过期或者redis故障时,此时大量用户请求直接打到数据库,造成数据库宕机

📒解决方法:

  1. 过期时间增加随机数
  2. 互斥锁,

当发现数据不在redis中时 加一个互斥锁,保证同一时间只有一个请求构建缓存,如果其他请求未获取到锁则等待或者返回空值,注意等待需要设置超时时间,不然如果出现第一个请求获取锁之后一直阻塞,导致其他请求一直获取不到锁。

import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;

import com.company.dubbodemo.entity.User;

import com.company.dubbodemo.mapper.UserMapper;

import com.company.dubbodemo.service.UserService;

import org.redisson.api.RLock;

import org.redisson.api.RedissonClient;

import org.springframework.cache.annotation.Cacheable;

import org.springframework.stereotype.Service;

import javax.annotation.Resource;

@Service

public class UserServiceImpl extends ServiceImpl<UserMapper, User>

代码语言:txt
AI代码解释
复制
       implements UserService {
代码语言:txt
AI代码解释
复制
   @Resource
代码语言:txt
AI代码解释
复制
   private RedissonClient redissonClient;
代码语言:txt
AI代码解释
复制
   @Resource
代码语言:txt
AI代码解释
复制
   private UserMapper userMapper;
代码语言:txt
AI代码解释
复制
   @Override
代码语言:txt
AI代码解释
复制
   // 一定要设置sync = true开启异步,否则会导致多个线程同时获取到锁
代码语言:txt
AI代码解释
复制
   @Cacheable(cacheNames = "user", key = "#id", sync = true)
代码语言:txt
AI代码解释
复制
   public User findById(Long id) {
代码语言:txt
AI代码解释
复制
       /**
代码语言:txt
AI代码解释
复制
        *
代码语言:txt
AI代码解释
复制
        * 加了@Cacheable之后方法体执行说明缓存中不存在所查询的数据
        * 获取一把锁,只要锁的名字一样,就是同一把锁
        */
   
代码语言:txt
AI代码解释
复制
       /**
代码语言:txt
AI代码解释
复制
        * 注意: 设置了lock.lock(10,TimeUnit.SECONDS) 锁过期不会自动续期
        *      1、如果我们传递了锁的过期时间,就发送给redis执行脚本,进行占锁,默认超时就是我们指定的时间
        *      2、如果没有指定锁的超时时间,就使用30000L(LockWatchdogTimeout 看门狗的默认时间)
        *      可通过RedissonConfig-->getRedissonClient()-->config.setLockWatchdogTimeout()设置看门狗时间
        *         只要占锁成功就会启动一个定时任务【就会重新给锁设置过期时间,新的时间就是看门狗的默认时间】,每隔10s都会自动续期,续期成30s
        * 看门狗机制
        * 1、锁的自动续期,如果业务超长,运行期间自动给锁续上新的30s。不用担心因为业务时间长,锁自动过期被删除
        * 2、加锁的业务只要运行完成,就不会给当前锁续期,即使不手动解锁,锁默认在30s以后自动删除
        *
        */
       RLock lock = redissonClient.getLock("redissonClient-lock");
   
代码语言:txt
AI代码解释
复制
       // 对第一个线程执行方法体的线程加锁,加了@Cacheable,方法执行之后会将方法的返回值存入缓存,下一个线程直接读取缓存
代码语言:txt
AI代码解释
复制
       lock.lock(10,TimeUnit.SECONDS);
代码语言:txt
AI代码解释
复制
       User user = new User();
代码语言:txt
AI代码解释
复制
       try {
代码语言:txt
AI代码解释
复制
           user = userMapper.selectById(id);
代码语言:txt
AI代码解释
复制
       } catch (Exception e) {
代码语言:txt
AI代码解释
复制
           e.printStackTrace();
代码语言:txt
AI代码解释
复制
       } finally {
代码语言:txt
AI代码解释
复制
           lock.unlock();
代码语言:txt
AI代码解释
复制
       }
代码语言:txt
AI代码解释
复制
       return user;
代码语言:txt
AI代码解释
复制
   }
代码语言:txt
AI代码解释
复制
}
  1. 双key策略

缓存数据设置两个key 一个为主key (设置过期时间) 一个为从key(时间设置比主key长一些,例如多5天),虽然key不同,但value一样

当业务线程访问不到主key时 则直接返回从key的数据,同时更新主key和从key

  1. 设置缓存永久有效后台定时更新缓存

不设置缓存的有效时间,让他永久有效,并将更新缓存的工作交由后台线程定时更新。

虽然缓存数据不设置有效期,但是缓存也不会一直存在redis中,因为当内存紧张时,redis会自动淘汰某些key

定时更新缓存

方式一

创建一个定时任务,定时监测某些key是否失效,如果失效则重新加载

方式二

业务线程发现缓存失效后,发送mq消息去执行重新加载缓存

🔖ps:缓存预热

当启动系统后可以检查某些key是否存在redis中,如果不存在则进行重新加载,缓存预热是使用缓存的一个优化技巧

📖缓存击穿

📅解释:

某个热点缓存,在某一时刻恰好失效了,然后此时刚好有大量的并发请求,此时这些请求将会给数据库造成巨大的压力,这种情况就叫做缓存击穿

Ps:缓存击穿和缓存穿透经常记错,这里有一个小技巧

只需要记住一击必中这个成语; 热点key一般比较少 比作一 ;这样就可以联想记忆到缓存击穿就是热点key失效问题

📚解决方法

  1. 加锁排队

和缓存雪崩的加锁处理方式一致,再查数据库时进行加锁,缓冲大量请求。

  1. 热点key设置永不过期

对于某些热点缓存,我们可以设置永不过期,这样就能保证缓存的稳定性,但需要注意在数据更改之后,要及时更新此热点缓存,不然就会造成查询结果的误差

🧣缓存穿透

📌解释:

用户访问的数据既不在缓存中也不在数据库中;当出现大量这种请求后,数据库的压力骤增,可能被直接打穿;这种操作发生情况主要有两种

1.业务误操作,缓存中的数据和数据库中的数据都被误删除了,所以导致缓存和数据库中都没有数据;

2.黑客恶意攻击

🖥️解决方法

  1. 增加黑名单与白名单,限制某些恶意ip访问
  2. 缓存空值或者默认值,当缓存与数据库都没有查询到时,直接返回空值
  3. 增加布隆过滤器
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
   import com.google.common.hash.BloomFilter;
   import com.google.common.hash.Funnels;
   /**
代码语言:txt
AI代码解释
复制
* 布隆过滤器
*/   public class BloomFilterTest {
   
代码语言:txt
AI代码解释
复制
   /**
代码语言:txt
AI代码解释
复制
    * @param expectedInsertions 预期插入值
    *                           这个值的设置相当重要,如果设置的过小很容易导致饱和而导致误报率急剧上升,如果设置的过大,也会对内存造成浪费,所以要根据实际情况来定
    * @param fpp                误差率,例如:0.001,表示误差率为0.1%
    * @return 返回true,表示可能存在,返回false一定不存在
    */
   public static boolean isExist(int expectedInsertions, double fpp) {
       // 创建布隆过滤器对象
       BloomFilter<Integer> filter = BloomFilter.create(Funnels.integerFunnel(), 500, 0.01);
代码语言:txt
AI代码解释
复制
       // 判断指定元素是否存在
代码语言:txt
AI代码解释
复制
       System.out.println(filter.mightContain(10));
代码语言:txt
AI代码解释
复制
       // 将元素添加进布隆过滤器
代码语言:txt
AI代码解释
复制
       filter.put(10);
代码语言:txt
AI代码解释
复制
       // 再判断指定元素是否存在
代码语言:txt
AI代码解释
复制
       System.out.println(filter.mightContain(10));
代码语言:txt
AI代码解释
复制
       return filter.mightContain(10);
代码语言:txt
AI代码解释
复制
   }
代码语言:txt
AI代码解释
复制
   //主类中进行测试
代码语言:txt
AI代码解释
复制
   public static void main(String[] args) {
代码语言:txt
AI代码解释
复制
       boolean exist = isExist(100000000, 0.001);
代码语言:txt
AI代码解释
复制
   }
代码语言:txt
AI代码解释
复制
}

🖊️最后总结

🖲要熟练掌握技巧,一定多多坚持练习:骐骥一跃,不能十步;驽马十驾,功在不舍

搞笑点赞
搞笑点赞

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Java缓存穿透、击穿、雪崩解决方案
在互联网高并发的场景下,对于数据库查询频率高的数据,为了提高查询效率,常常会采用缓存技术进行优化。然而,缓存技术也会带来一些问题,比如缓存穿透、缓存击穿和缓存雪崩等。
青山师
2023/05/05
2650
redis缓存雪崩 缓存穿透 缓存击穿如何解决_缓存击穿问题
每一个put进来的值会经过几个hash函数运算(预测插入数据的数量和容错率,系统自动推断出来设置几个hash函数合适),然后映射到响应为位上,将响应位的bit置为1。当查询值是否在布隆过滤器中的时候,将该值与上述hash函数运算,如果各个位置的bit均为1,则判断该值极有可能在布隆过滤器中。
全栈程序员站长
2022/09/21
7700
redis缓存雪崩 缓存穿透 缓存击穿如何解决_缓存击穿问题
Redis 缓存穿透, 缓存击穿, 缓存雪崩的解决方案与布隆过滤器
缓存穿透解决方案 设置空值 布隆过滤器 优点 可以将存在的缓存, 位置设置为1, 然后当不存在的参数过来的时候, 会匹配到0上,这样就会直接返回不存在 缺点 存在错误判断, hash冲突 删除缓存时无法删除指定的1的位置, 应为存在多数据,同一hash, 所以无法删除 增加开发成本, 维护成本提高 可以判断一定不存在, 但是不能判断一定存在[存在误判] 使用布隆过滤器 添加依赖 <dependency> <groupId>com.google.guava</groupId> <a
彼岸舞
2022/10/04
3640
Redis 缓存穿透, 缓存击穿, 缓存雪崩的解决方案与布隆过滤器
Redis的缓存击穿、缓存穿透和缓存雪崩是什么?怎么预防?
最近在CSDN上看到了一篇博客,Redis缓存击穿、雪崩、穿透!(超详细),详细讲述了缓存穿透、缓存击穿和缓存雪崩是什么。对我这个刚刚入门的人来说,看完之后非常震撼。 但是这篇博客没有给出具体的实现,并且在浏览大部分博客之后,发现大家在实现的过程中,并不能像这篇博客一样考虑的这么周全。
小王不头秃
2024/06/19
3390
Redis的缓存击穿、缓存穿透和缓存雪崩是什么?怎么预防?
SpringBoot中如何解决Redis的缓存穿透、缓存击穿、缓存雪崩?
在使用 Redis 缓存时,可能会遇到一些缓存问题,最常见的包括缓存穿透、缓存击穿和缓存雪崩。
网络技术联盟站
2023/06/05
9450
Redis之缓存穿透,雪崩,击穿解读
当我们请求去查询一条记录,先到redis中查询后到mysql查询都发现找不到该条记录,但是请求每次都会打到数据库上面去,导致后台数据库压力暴增,这些请求像“穿透”了缓存一样直接打在数据库上,这种现象就叫做缓存穿透。这种现象我们称为缓存穿透,这个redis变成了一个摆设。
一个风轻云淡
2023/10/15
3560
Redis缓存穿透、缓存雪崩、redis并发问题分析
把redis作为缓存使用已经是司空见惯,但是使用redis后也可能会碰到一系列的问题,尤其是数据量很大的时候,经典的几个问题如下:
xcbeyond
2020/03/25
7050
Redis缓存穿透、缓存雪崩、redis并发问题分析
Redis从入门到放弃(11):雪崩、击穿、穿透
Redis作为一款高性能的缓存数据库,为许多应用提供了快速的数据访问和存储能力。然而,在使用Redis时,我们不可避免地会面对一些常见的问题,如缓存雪崩、缓存穿透和缓存击穿。本文将深入探讨这些问题的本质,以及针对这些问题的解决方案。
夕阳也是醉了
2023/10/16
2870
Redis从入门到放弃(11):雪崩、击穿、穿透
解决缓存穿透、缓存雪崩和缓存击穿
短链接平台是一种在线服务,它将长的网址(URL)转换为更短的链接。这些短链接更便于分享,特别是在字符数有限的环境中,比如社交媒体平台。使用短链接平台不仅可以节省空间,还可以提供额外的功能,如点击统计、自定义短链接、以及访问控制等。 短链接的典型格式是由平台的域名加上一串字符组成,这串字符代表了原始的长链接。当用户点击这个短链接时,短链接平台会自动将用户重定向到原始的长链接所指向的网页。这个过程对用户来说是透明的,他们可能根本意识不到链接已经被转换和重定向了。 短链接平台的一些常见应用包括但不限于:
用户10136162
2024/02/03
2240
解决缓存穿透、缓存雪崩和缓存击穿
redis缓存穿透、缓存雪崩、热点Key问题分析及解决方案
我们通常使用 缓存 + 过期时间的策略来帮助我们加速接口的访问速度,减少了后端负载,同时保证功能的更新。
阿dai学长
2019/04/25
1.6K0
Redis 缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?
原始数据存储在 DB 中(如 MySQL、Hbase 等),但 DB 的读写性能低、延迟高。
码哥字节
2022/04/08
1.6K0
Redis 缓存击穿(失效)、缓存穿透、缓存雪崩怎么解决?
spring的缓存(cache)-(缓存穿透、缓存击穿、缓存雪崩、热点数据)
注:本文篇幅有点长,所以建议各位下载源码学习。(如需要请收藏!转载请声明来源,谢谢!)
逍遥壮士
2020/09/18
2.4K0
spring的缓存(cache)-(缓存穿透、缓存击穿、缓存雪崩、热点数据)
Redis缓存穿透、缓存击穿和缓存雪崩
缓存穿透的概念很简单,用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中,于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库。这会给持久层数据库造成很大的压力,这时候就相当于出现了缓存穿透。
后端码匠
2021/01/14
1.6K0
Redis(5)——亿级数据过滤和布隆过滤器
上一次 我们学会了使用 HyperLogLog 来对大数据进行一个估算,它非常有价值,可以解决很多精确度不高的统计需求。但是如果我们想知道某一个值是不是已经在 HyperLogLog 结构里面了,它就无能为力了,它只提供了 pfadd 和 pfcount 方法,没有提供类似于 contains 的这种方法。
我没有三颗心脏
2020/03/20
1.4K0
Redis(5)——亿级数据过滤和布隆过滤器
php解决redis的缓存雪崩,缓存穿透,缓存击穿的问题
一:前言 设计一个缓存系统,不得不要考虑的问题就是:缓存穿透、缓存击穿与失效时的雪崩效应。
郑洪志
2023/03/05
1.3K0
缓存一致性策略以及雪崩、穿透问题
高并发情境下首先考虑到的第一层优化方案就是增加缓存,尤其是通过Redis将原本在数据库中的数据复制一份放到内存中,可以减少对数据库的读操作,数据库的压力降低,同时也会加快系统的响应速度,但是同样的也会带来其他的问题,比如需要考虑数据的一致性、还需要预防可能的缓存击穿、穿透和雪崩问题等等。
慕容千语
2021/07/20
3830
看完这篇Redis缓存三大问题,保你能和面试官互扯。
日常的开发中,无不都是使用数据库来进行数据的存储,由于一般的系统任务中通常不会存在高并发的情况,所以这样看起来并没有什么问题。
码农小胖哥
2020/04/17
7260
看完这篇Redis缓存三大问题,保你能和面试官互扯。
重学SpringBoot3-集成Redis(五)之布隆过滤器
在高并发场景下,缓存是提升系统性能的重要手段。然而,常规缓存机制中,若遇到大量无效请求访问(请求的 key 不存在于缓存或数据库),就会导致 缓存穿透。为了应对这种问题,布隆过滤器 和 缓存空值 是应对缓存穿透的两大主流方案,布隆过滤器适用于大规模、复杂场景,缓存空值适用于小规模场景。布隆过滤器(Bloom Filter) 能够通过哈希算法判断一个 key 是否可能存在,减少无效请求对数据库的压力。
CoderJia
2024/10/18
3600
重学SpringBoot3-集成Redis(五)之布隆过滤器
不用背八股文!一文搞懂redis缓存击穿、穿透、雪崩!
缓存的击穿、穿透和雪崩,对于这三大缓存的问题,有很多人背过了八股文式的解决方案,面试也能答上一二,却少有人能把思路给理清的。
程序员小义
2024/04/10
4.4K0
不用背八股文!一文搞懂redis缓存击穿、穿透、雪崩!
Redis缓存雪崩、缓存穿透、热点Key解决方案和分析
转载自  https://blog.csdn.net/wang0112233/article/details/79558612
allsmallpig
2021/02/25
7130
推荐阅读
相关推荐
Java缓存穿透、击穿、雪崩解决方案
更多 >
LV.3
这个人很懒,什么都没有留下~
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验