前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Redis 和 MySQL 数据保持一致

Redis 和 MySQL 数据保持一致

作者头像
php007
发布于 2019-08-02 09:18:03
发布于 2019-08-02 09:18:03
1.4K0
举报
文章被收录于专栏:PHP专享栏PHP专享栏
  • 1.MySQL持久化数据,Redis只读数据
  • 2.MySQL和Redis处理不同的数据类型
  • 几个例子
  • 在高并发下解决场景二要注意的问题

1.MySQL持久化数据,Redis只读数据

redis在启动之后,从数据库加载数据。

读请求:

不要求强一致性的读请求,走redis,要求强一致性的直接从mysql读取

写请求:

数据首先都写到数据库,之后更新redis(先写redis再写mysql,如果写入失败事务回滚会造成redis中存在脏数据)

2.MySQL和Redis处理不同的数据类型

  • MySQL处理实时性数据,例如金融数据、交易数据
  • Redis处理实时性要求不高的数据,例如网站最热贴排行榜,好友列表等

在并发不高的情况下,读操作优先读取redis,不存在的话就去访问MySQL,并把读到的数据写回Redis中;写操作的话,直接写MySQL,成功后再写入Redis(可以在MySQL端定义CRUD触发器,在触发CRUD操作后写数据到Redis,也可以在Redis端解析binlog,再做相应的操作)

在并发高的情况下,读操作和上面一样,写操作是异步写,写入Redis后直接返回,然后定期写入MySQL

几个例子:

1.当更新数据时,如更新某商品的库存,当前商品的库存是100,现在要更新为99,先更新数据库更改成99,然后删除缓存,发现删除缓存失败了,这意味着数据库存的是99,而缓存是100,这导致数据库和缓存不一致。

解决方法:

这种情况应该是先删除缓存,然后在更新数据库,如果删除缓存失败,那就不要更新数据库,如果说删除缓存成功,而更新数据库失败,那查询的时候只是从数据库里查了旧的数据而已,这样就能保持数据库与缓存的一致性。

2.在高并发的情况下,如果当删除完缓存的时候,这时去更新数据库,但还没有更新完,另外一个请求来查询数据,发现缓存里没有,就去数据库里查,还是以上面商品库存为例,如果数据库中产品的库存是100,那么查询到的库存是100,然后插入缓存,插入完缓存后,原来那个更新数据库的线程把数据库更新为了99,导致数据库与缓存不一致的情况

解决方法:

遇到这种情况,可以用队列的去解决这个问,创建几个队列,如20个,根据商品的ID去做hash值,然后对队列个数取摸,当有数据更新请求时,先把它丢到队列里去,当更新完后在从队列里去除,如果在更新的过程中,遇到以上场景,先去缓存里看下有没有数据,如果没有,可以先去队列里看是否有相同商品ID在做更新,如果有也把查询的请求发送到队列里去,然后同步等待缓存更新完成。

这里有一个优化点,如果发现队列里有一个查询请求了,那么就不要放新的查询操作进去了,用一个while(true)循环去查询缓存,循环个200MS左右,如果缓存里还没有则直接取数据库的旧数据,一般情况下是可以取到的。

在高并发下解决场景二要注意的问题:

1、读请求时长阻塞

由于读请求进行了非常轻度的异步化,所以一定要注意读超时的问题,每个读请求必须在超时间内返回,该解决方案最大的风险在于可能数据更新很频繁,导致队列中挤压了大量的更新操作在里面,然后读请求会发生大量的超时,最后导致大量的请求直接走数据库,像遇到这种情况,一般要做好足够的压力测试,如果压力过大,需要根据实际情况添加机器。

2、请求并发量过高

这里还是要做好压力测试,多模拟真实场景,并发量在最高的时候QPS多少,扛不住就要多加机器,还有就是做好读写比例是多少

3、多服务实例部署的请求路由

可能这个服务部署了多个实例,那么必须保证说,执行数据更新操作,以及执行缓存更新操作的请求,都通过nginx服务器路由到相同的服务实例上

4、热点商品的路由问题,导致请求的倾斜

某些商品的读请求特别高,全部打到了相同的机器的相同丢列里了,可能造成某台服务器压力过大,因为只有在商品数据更新的时候才会清空缓存,然后才会导致读写并发,所以更新频率不是太高的话,这个问题的影响并不是很大,但是确实有可能某些服务器的负载会高一些。

img



本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-06-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 风帆 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
突破Java面试(27)-如何保证缓存与数据库的数据一致性
你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题?
JavaEdge
2019/07/08
6290
突破Java面试(27)-如何保证缓存与数据库的数据一致性
一个经典面试题:如何保证缓存与数据库的双写一致性?
只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题?
用户1516716
2019/05/17
1K0
一个经典面试题:如何保证缓存与数据库的双写一致性?
这5个常问的Redis面试题你答得出来吗?(详细剖析)
在前几年,redis 如果要搞几个节点,每个节点存储一部分的数据,得借助一些中间件来实现,比如说有codis,或者 twemproxy,都有。有一些 redis 中间件,你读写 redis 中间件,redis 中间件负责将你的数据分布式存储在多台机器上的 redis 实例中。
用户2781897
2020/10/10
5980
这5个常问的Redis面试题你答得出来吗?(详细剖析)
高并发场景下缓存+数据库双写不一致问题分析与解决方案设计
Redis是企业级系统高并发、高可用架构中非常重要的一个环节。Redis主要解决了关系型数据库并发量低的问题,有助于缓解关系型数据库在高并发场景下的压力,提高系统的吞吐量(具体Redis是如何提高系统的性能、吞吐量,后面会专门讲)。
编程大道
2020/01/16
2K0
Java岗大厂面试百日冲刺【Day50】— 秒杀系统2 (日积月累,每日三题)
  本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
陈哈哈
2021/12/31
1K0
Java岗大厂面试百日冲刺【Day50】— 秒杀系统2 (日积月累,每日三题)
面试官:你对Redis缓存了解吗?面对这11道面试题是否有很多问号?
面试官:你对Redis缓存了解吗?面对这11道面试题是否有很多问号?
Java架构师必看
2021/05/14
6350
面试官:你对Redis缓存了解吗?面对这11道面试题是否有很多问号?
Redis常见面试题
假设这么个场景,你有个操作,一个请求过来,吭哧吭哧你各种乱七八糟操作 mysql,半天查出来一个结果,耗时 600ms。但是这个结果可能接下来几个小时都不会变了,或者变了也可以不用立即反馈给用户。那么此时咋办?
鱼找水需要时间
2023/03/31
2740
缓存与数据库一致性问题深度剖析
当我们在做数据库与缓存数据同步时,究竟更新缓存,还是删除缓存,究竟是先操作数据库,还是先操作缓存?本文带大家深度分析数据库与缓存的双写问题,以供大家参考。
Bug开发工程师
2020/12/31
1.3K0
缓存与数据库一致性问题深度剖析
mysql和redis数据一致性
注意:时间设置需根据实际场景调整(如3秒、10秒),核心是确保数据库更新与缓存操作的时间差合理。
用户1142828
2025/03/16
870
Redis与数据库数据一致性
可能谈到保持Redis与Mysql双库的数据一致性,可能很多人最先想到的方案就是读请求和写请求串行化,串到一个内存队列里去。但是这个方案有着一个致命的缺点:读请求和写请求串行化会导致系统的吞吐量大幅度降低,需要使用比正常情况下多几倍的机器去支撑线上的一个请求。Redis与Mysql双库的数据一致性问题为何会出现呢?其实我们可以考虑这么一个业务场景:我们需要更新部分数据,我们首先更新数据库数据,然后清除Redis缓存中的数据。但是数据库更新操作成功了,然而Redis清除缓存出现异常了,这样会导致出现这么一种情况:数据库中的数据已经更新为最新数据,但是Redis缓存中的数据依旧还是老数据,这时候就会出现Redis与Mysql双库的数据一致性问题。
创译科技
2019/09/24
1.8K0
Redis与数据库数据一致性
Redis和Mysql如何保证数据一致?面试可以这样说自己的看法
阿粉的小学弟最近开始了面试,毕竟也算是工作过一两年的人,现在面试也都开始造飞机了,小学弟开始在面试官面前疯狂造飞机了,也不知道这个飞机好不好用,而开始造飞机的这块内容,就是关于 Redis 的,而面试官问 Redis 的最多的问题,就是如何保证你的 Redis和 MySQL 数据的一致性?接下来我们分别分几种情况来考虑一下这个问题吧。
Java极客技术
2022/12/02
6330
Redis和Mysql如何保证数据一致?面试可以这样说自己的看法
Redis缓存与数据库一致性解决方案
用Redis缓存,就存在缓存和DB数据一致性问题。若数据不一致,则业务应用从缓存读取的数据就不是最新数据,可能导致严重错误。如将商品库存缓存在Redis,若库存数量不对,则下单时就可能出错,这是难以接受的。
JavaEdge
2022/11/30
1.9K0
Redis缓存与数据库一致性解决方案
高并发场景下的缓存+数据库双写不一致问题分析与解决方案设计
库存可能会修改,每次修改都要去更新这个缓存数据; 每次库存的数据,在缓存中一旦过期,或者是被清理掉了,前端的nginx服务都会发送请求给库存服务,去获取相应的数据
HUC思梦
2020/09/03
8970
对线面试官-Redis 十一 | 双写一致性问题
在之前的文章中有介绍过关于缓存一致性的问题,那么为什么还要出一篇文章来再次说明呢?是因为之前的文章主要讲述了高并发架构下缓存一致性问题可以通``延时双删进行解决,高可用架构(读写分离)采用的是先更新数据库,然后再删除缓存,并最后采用重试机制进行避免。之前文章的高可用解决方案后续优化的点侧重于结合binglog的方式去解决。这篇文章又结合了JVM队列的方式。具体细节可以阅读本篇文章。相信对你在实际应用中会有很大帮助,至于实际应用采用什么方式。还需要结合实际的业务场景。
@派大星
2023/08/10
3180
对线面试官-Redis 十一 | 双写一致性问题
MySQL与缓存一致性问题
“数据一致”一般指的是:缓存中有数据,缓存的数据值 = 数据库中的值。一致性又分为几种程度:
leobhao
2022/06/28
7770
MySQL与缓存一致性问题
MySQL数据库与Redis缓存双写一致性
你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题?
猫头虎
2024/04/07
3520
MySQL数据库与Redis缓存双写一致性
Redis常见面试题
假设这么个场景,你有个操作,一个请求过来,吭哧吭哧你各种乱七八糟操作 mysql,半天查出来一个结果,耗时 600ms。但是这个结果可能接下来几个小时都不会变了,或者变了也可以不用立即反馈给用户。那么此时咋办?
鱼找水需要时间
2023/12/24
2640
亿级电商流量,高并发下Redis与MySQL的数据一致性如何保证
只要使用到缓存,无论是本地缓存还是使用Redis做缓存,那么就会存在数据同步不一致的问题。
程序员江小北
2024/02/27
4620
亿级电商流量,高并发下Redis与MySQL的数据一致性如何保证
探索Redis与MySQL的双写问题
在日常的应用开发中,我们经常会遇到需要使用多种不同类型的数据库管理系统来满足各种业务需求。其中最典型的就是Redis和MySQL的组合使用。
BookSea
2023/10/12
3820
数据库缓存数据一致性方案
在我们的实际项目中,在一些QPS比较高的场景下,经常引入缓存来缓解数据库的查询压力,以缓存的空间来换取查询效率的提升。但是一旦引入了缓存,就一定会遇到缓存中的数据与数据库中的数据如何保持一致的问题,本文就是针对两者之间的数据一致性问题进行分析,一步一步分析以及解决。
慕枫技术笔记
2023/03/20
3210
数据库缓存数据一致性方案
推荐阅读
相关推荐
突破Java面试(27)-如何保证缓存与数据库的数据一致性
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档