Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >MySQL是如何保证数据一致性的?

MySQL是如何保证数据一致性的?

原创
作者头像
王二蛋
发布于 2024-01-28 10:19:51
发布于 2024-01-28 10:19:51
8K7
举报
文章被收录于专栏:MySQLMySQL

前言

通过上文《MySQL是如何保证数据不丢失的?》可以了解DML的操作流程以及数据的持久化机制。对于一个数据库而言,除了数据的持久性、不丢失之外,一致性也是非常重要的,不然这个数据是没有任何意义的。在使用MySQL时,数据不一致的情况也可能出现,所以,本文就来看看MySQL是如何保证数据一致的。

MySQL保证的一致性

在这之前先划清一下界限,看一下MySQL保证的是哪里的一致性。

拿一个最简单的转账例子,用户A向用户B转1000元,正常的sql是这样的

代码语言:sql
AI代码解释
复制
update account set balance=balance-4000 where user='A' and balance >= 4000;
update account set balance=balance+4000 where user='B';

示例表数据如下

如果最终用户A账户没有扣4000,而用户B账户多了4000,总金额也无缘无故的多了4000。这个时候就造成了数据不一致了。出现这个问题可能存在几个原因:

  1. 在MySQL客户端执行sql时没有做校验。如果用户A余额并不足以4000,由于没有校验,两条sql都会成功执行,用户B就会凭空多出4000。
  2. 两条sql并不在同一事务中。可能sql1执行失败了,sql2执行成功,由于不再一个事务中导致用户B多了4000。
  3. 在MySQL内部执行时因为某些故障而出现了不一致情况。

很显然,第三点是需要MySQL解决处理的。而第一点是属于MySQL客户端的逻辑BUG,第二点会存在客户端在使用事务时不遵循规则的情况,都属于外部因素,MySQL不可控

所以,MySQL保证的一致性是:在一个事务中的DML(增删改)操作。尽管DML本身可能存在问题。

MySQL发生不一致环节

划清界限后再分析一下在DML执行过程中,哪个环节会发生数据不一致。 以上面的sql为例,假设已经进行过校验且在同一事务。

并发冲突

在执行第一条sql时,「执行器」会通过条件user='A' and balance >= 4000在「存储引擎」获取到符合条件的记录,然后进行balance扣减操作。(不知道这个流程的可以看下前面的文章)

如果这个时候存在并发现象,扣减操作可能会执行多次,这个balance肯定就不是预想中的结果了,也就发生数据不一致了。如下图

当3个update请求同一时间调用存储引擎对同一数据页更新后,正常情况下,balance值应该为0。但是因为并发操作,balance的值可能会被修改为-1000或者-2000等其他值,这样的bug显然是不可被接受的。

有并发经验的应该都知道需要通过锁资源可以避免这个情况,InnoDB也是通过加来处理的。

redolog不完整

通过上文可以知道,InnoDB是通过「双写缓冲」、「Redo Log」等机制保证数据不丢失的。

这种情况下,假设第一条sql执行成功并且对应的redo log已经被刷新到磁盘中,但是第二条sql执行失败或者MySQL服务宕机导致其redolog未刷新到磁盘,那么在下次启动恢复时,就会发生数据不一致了。如下图

sql示例的第一条执行结果通过redolog恢复了,但是第二条的redolog随着宕机丢失了,于是乎造成了数据的不一致。(redo log的刷盘机制和构建脏页可以通过上文进行了解。)

对于这种情况,InnoDB是通过上文提到的「Undo Log」来解决的。

binlog&redolog不一致

我们知道,binlog中记录了所有对数据更新的原始sql,以便数据备份恢复、主从复制。与redolog不一样的是binlog属于MySQL server层,而redolog是InnoDB的机制,用于故障恢复,两者并不冲突,这里不过多赘述。

虽然不冲突,但是要保证两者在事务提交后都可以持久化到磁盘,不然就会在主从复制的时候出现数据不一致现象,如下图

只要binlog和redolog有一方没有同步持久到磁盘都会发生类似现象。针对这种情况MySQL是通过两阶段提交解决的。

以上就是DML在执行过程中可能出现不一致的环节(没有想到的欢迎评论交流)。接下来具体看一下InnoDB针对以上几种情况是如何处理解决,从而保证数据一致性的。

MySQL解决不一致方案

加锁解决并发冲突

锁没有什么好说的,innoDB根据隔离级别决定是否用锁(当然,还有server层的表锁什么的这里不展开)。这里就演示下在隔离级别REPEATABLE-READ下,锁在SQL执行中的具体作用和效果。

当在第一个事务中执行 update account set balance=balance-4000 where user='A' and balance >= 4000; 时,其他事务不能对user为'A'的记录进行更新。如下图,当第二个事务窗口执行 update account set balance=balance-1000 where user='A' and balance >= 1000; 时会被阻塞住,直到第一个事务提交或者超时。

这个时候可以通过 select * from sys.innodb_lock_waits ; 查看一下锁的相关信息

这里的locked_type是RECORD,也就是行记录锁,还有一个是间隙锁。

间隙锁的作用是保证某个范围内的数据在锁定情况下不会发生任何变化。比如,当第一个事务执行update account set balance=balance-100 where id between 7 and 9;后,第二个事务在执行INSERT INTO account (id, user,balance) VALUES (8, 'ABD',5000);时会阻塞,但是执行 INSERT INTO account (id, user,balance) VALUES (16, 'ABDD',5000);会成功执行,因为插入id为16的行数据不会影响到7~9之间的数据。这个时候去查看select * from sys.innodb_lock_waits;时会发现waiting_lock_mode值为 X,GAP(间隙)

所以说,锁避免了事务的并发访问导致的数据不一致。

undolog解决redolog不完整

InnoDB在因sql执行失败或者MySQL服务宕机导致redolog不完整从而出现数据不一致是这么解决的:

  1. 在更新数据页之前,InnoDB会先将数据当前的状态记录在「Undo Log」中。
  2. 之后,再将更新后的相关数据记录到「Redo Log」中。

这样的话,不论出现哪种情况都可以通过undo log将数据回滚并保持一致,这个就是经常提到的原子性以及「回滚」操作。

就如上图(redo log不完整环节),加上Undo log之后数据状态如下图

图中加了行记录的隐藏字段事务ID和回滚指针以及undo log页和undo的redo。

undo log 记录的就是user='A'和‘B’事务提交前的数据,各为4000。

redo log 中会记录所有的更新操作,包括undo,因为undo记录的也是更新语句。需要说一下,这里记录的undo是演示使用,对于一条update操作,真正的undo会记录一条delete和一条insert操作,原因上文有介绍。

为什么redo log会记录undo

undo log是以页为单位,跟随页的刷新机制,会存在丢失的情况,所以在记录undo后也会将该undo记录到redo,避免undo丢失,一旦undo丢失就回滚不了了。

有了undo log后,假设第二条sql执行失败,这个时候就会通过行记录中的事务ID(txidx)和回滚指针(roll_pointx、roll_pointx1)去undolog中找对应的回滚操作(如图中的 ‘回滚指针’箭头),最终将事务回滚保证原子性和一致性。

针对上图的状态,如果发生宕机,那么在重新MySQL服务时,会有两个操作:

  1. 会先通过redo log构建「脏页」。
  2. 根据redo log中记录的事务提交状态来决定是否回滚。

如图

当前user='A'的事务状态为prepare,所以需要进行回滚操作。回滚流程是这样的:

  1. 根据数据中该记录的事务ID(txidx)在undolog中找对应的回滚操作。
  2. 发现事务ID有两个undo操作,user='A'和‘B’的。
  3. 执行undo操作,将数据页中的记录回滚至事务提交前状态。

最终的结果就是user='A'和‘B’的balance会回滚到4000。

所以说,undo避免了事务或者宕机的异常导致的数据不一致。

XA两阶段提交解决binlog和redolog的不一致

redo log中的事务状态不仅在这里起到作用,在binlog和redolog的一致上,同样是通过这个状态来判断并且决定是否需要回滚。

这个就不得不说到MySQL的XA两阶段提交协议了,在这之前,我一直以为XA是运用到MySQL与外部应用的,没想到是应用在MySQL内部的。不过分布式事务嘛,原理基本上都一样,想要深入了解的可以看《分布式事务及解决方案》,这里就不过多赘述了。

XA的两阶段分别是prepare和commit,在事务提交前,redolog中记录的状态都是prepare,当事务提交后,该状态就会被更新为commit,同时将XID写入到对应的binlog中并刷新到磁盘。如下图

这样的话,如果发生宕机,下次启动时可以根据redolog中的状态以及XID去binlog中查找,如果存在意味着两者一致,不存在就进行回滚操作。

所以说,XA两阶段提交保证了binlog和redolog逻辑一致,从而避免主从节点的数据不一致。

总结

MySQL一致性的保证基本上涉及到InnoDB存储引擎的各个组件,「Buffer Pool」、「Log Buffer」、「Redo Log」、「Undo Log」等,还有DML操作的流程、锁、故障恢复等功能。最后再总结下MySQL是如何保证一致性的。

  1. 对于并发操作带来的数据不一致性问题,InnoDB通过锁来解决。
  2. 对于可能会发生的redolog不完整的情况,InnoDB通过Undo Log来解决。
  3. 对于redolog&binlog不一致带来的主从节点数据不一致,MySQL是通过XA两阶段提交来解决。

我正在参与2024腾讯技术创作特训营第五期有奖征文,快来和我瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
7 条评论
热度
最新
真是6
真是6
22点赞举报
无效评论😄
无效评论😄
回复回复点赞举报
😂
😂
回复回复点赞举报
MySQL作为一种广泛应用的关系型数据库管理系统,其数据一致性保证机制是其成功的关键之一。这篇文章讲解了MySQL是如何通过事务管理、并发控制和日志记录等机制来确保数据的一致性。支持博主
MySQL作为一种广泛应用的关系型数据库管理系统,其数据一致性保证机制是其成功的关键之一。这篇文章讲解了MySQL是如何通过事务管理、并发控制和日志记录等机制来确保数据的一致性。支持博主
11点赞举报
6
6
回复回复点赞举报
看见大佬周末还在努力,我深深地意识到,成功并不是偶然的。
看见大佬周末还在努力,我深深地意识到,成功并不是偶然的。
11点赞举报
😁
😁
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL作为最流行的开源数据库,其重要性不言而喻。日志是mysql数据库的重要组成部分,记录着数据库运行期间各种状态信息。常见的日志有以下几种:
寻求出路的程序媛
2025/02/06
1.2K0
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
深入学习MySQL 02 日志系统:bin log,redo log,undo log
上一篇文章中,我们了解了一条查询语句的执行过程,按理说这篇应该讲一条更新语句的执行过程,但这个过程比较复杂,涉及到了好几个日志与事物,所以先梳理一下3个重要的日志,bin log(归档日志)、redo log(重做日志)、undo log(回滚日志)
KEN DO EVERTHING
2019/05/13
1.9K0
MySQL内部架构与事务面试题合集
小熊学Java个人网站:https://javaxiaobear.gitee.io/,每周持续更新干货,建议收藏!
小熊学Java
2023/07/16
3630
MySQL内部架构与事务面试题合集
MySQL 是如何实现 ACID 的?
本文主要探讨MySQL InnoDB 引擎下ACID的实现原理,对于诸如什么是事务,隔离级别的含义等基础知识不做过多阐述。
用户2242639
2021/06/29
1.1K0
Mysql底层原理超详细,一文速通
里面的三个核心组件, 解析器, 优化器, 执行器,负责完成服务层的核心功能, 其中三个核心组件的交互流程大致如下, 解析器将sql语句转换为解析树, 优化器选择最优的执行方案, 执行器根据计划调用存储引擎执行对应操作并返回结果, 有点类似于公司老总负责将公司战略拆分为一个个小目标分发给公司高管, 然后公司高管决策, 已最高效率达到目的,之后再将任务拆分,给我们打工人, 之后打工人来负责执行
天下之猴
2024/10/01
6401
Mysql底层原理超详细,一文速通
MySQL是如何实现事务ACID的?
事务:一个最小的不可再分的工作单元;一个事务通常对应一个完整的业务,例如银行账户转账业务,该业务就是一个最小的工作单元
你呀不牛
2021/11/12
7160
MySQL事务处理:如何确保数据一致性与可靠性
事务(Transaction)是数据库管理系统(DBMS)中的一个核心概念。MySQL 事务是指一组数据库操作,作为一个整体进行处理,确保要么全部成功,要么全部失败。
用户7954602
2024/12/21
2750
MySQL事务处理:如何确保数据一致性与可靠性
MySQL崩溃后的数据一致性
谁也不能保证计算机系统能够永远无故障的执行下去。网络波动、磁盘损坏等现网高频故障,机房掉电、服务器硬件失效等低频却又致命的故障,时刻考验着我们的系统。
lakezhong
2020/02/07
2.8K0
MySQL崩溃后的数据一致性
告别鸽子,从我做起
我的网站上一直有好多人留言催更 MySQL 日志(undo log、redo log、binlog)的文章。
小林coding
2022/10/27
5550
告别鸽子,从我做起
架构必知:MySQL 如何实现 ACID ?
MySQL 作为一个关系型数据库,以最常见的 InnoDB 引擎来说,是如何保证 ACID 的。
架构之家
2022/07/12
4610
架构必知:MySQL 如何实现 ACID ?
MySQL日志15连问
大家好,我是田螺哥。金九银十已经来了,整理了15道经典MySQL日志面试题,希望对大家有帮助。
捡田螺的小男孩
2021/09/29
1.7K0
MySQL这些题目你都会吗?
1、MySQL偶尔会出现OOM(内存溢出)现象,导致MySQl服务重启,以下哪种方式能有效缓解OOM的情况发生( )
MySQL轻松学
2020/12/04
1.1K0
MySQL这些题目你都会吗?
mysql之日志
一条数据在更新过程当中,如果中途 mysql crash 了,mysql 是如何保证数据的一致性和持久性的?在这个过程中 mysql 的日志系统起到了至关重要的作用。本文将会介绍 mysql 中的 undo log、redo log 和 bin log 在这其中的作用。
编程黑洞
2023/03/04
3680
mysql之日志
MySQL数据库如何实现AX规范
MySQL 为我们提供了分布式事务解决方案,在前面的内容中 聊一聊分布式事务的解决方案 提到过 binlog 的同步,其实是 MySQL XA 规范的一个应用,那么 XA 规范是如何定义的,具体又是如何应用的呢?
小熊学Java
2023/09/06
3730
MySQL数据库如何实现AX规范
【Mysql】详解InnoDB存储引擎以及binlog,redelog,undolog+MVCC
在Mysql中,InnoDB存储引擎是默认的,也是我们最常用的一个存储引擎,其中分为内存结构和磁盘结构两大部分,整体架构图如下:
用户11369558
2025/05/18
2560
【Mysql】详解InnoDB存储引擎以及binlog,redelog,undolog+MVCC
MySQL三大日志——binlog、redoLog、undoLog详解
日志是mysql数据库的重要组成部分,记录着数据库运行期间各种状态信息,能帮助我们进行很多容错及分析工作,其中有三大日志与我们这些开发者息息相关,本文将介绍binlog、redoLog、undoLog三种日志:
向着百万年薪努力的小赵
2022/12/02
6.5K0
MySQL三大日志——binlog、redoLog、undoLog详解
MYSQL 必考面试题10道(多选)
MySQL偶尔会出现OOM(内存溢出)现象,导致MySQl服务重启,以下哪种方式能有效缓解OOM的情况发生()
MySQL轻松学
2019/08/06
1.4K0
一条更新sql的完整执行流程(超详细)
查询流程,我们是不是再研究下更新流程、插入流程和删除流程? 一条查询sql的完整执行流程(从连接到引擎,穿插涉及到的知识,超详细) 在数据库里面,我们说的update操作其实包括了更新、插入和删除。如果大家有看过MyBatis的源码,应该知道Executor里面也只有doQuery()和doUpdate。的方法, 没有 doDelete()和 dolnsert()。 更新流程和查询流程有什么不同呢? 取到数据前和查询的基本流程也是一致的,也就是说,它也要经过解析器、优化器的处理,最后交给执行器。 区别就在于拿到符合条件的数据之后的操作。 但是,要学习更新的执行流程,我们需要先知道以下几个名词的含义: 贴图镇此博客(
向着百万年薪努力的小赵
2022/12/02
5140
一条更新sql的完整执行流程(超详细)
MySQL 为什么需要两阶段提交?
1. 什么是两阶段提交 1.1 binlog 与 redolog 1.2 两阶段提交 2. 为什么需要两阶段提交 3. 小结 为什么要两阶段提交?一阶段提交不行吗? 小伙伴们知道,MySQL 中的事务是两阶段提交,我们见到的很多分布式事务也都是两阶段提交的,例如 Seata,那么为什么要两阶段提交呢?一次直接提交了不行吗?今天我们来聊聊这个话题。 关于分布式事务 seata,不懂的小伙伴可以参考松哥之前的文章,传送门: 五分钟带你体验一把分布式事务!so easy! 看了那么多博客,还是不懂 TCC,不妨看
江南一点雨
2022/03/28
1.8K0
MySQL是怎么保证数据一致性的
在《写数据库同时发mq消息事务一致性的一种解决方案》一文的方案中把分布式事务巧妙转成了数据库事务。我们都知道关系型数据库事务能保证数据一致性,那数据库到底是怎么设计事务这一特性的呢?
普通程序员
2019/11/07
4.1K0
MySQL是怎么保证数据一致性的
相关推荐
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档