Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >25 | MySQL是怎么保证高可用的?

25 | MySQL是怎么保证高可用的?

作者头像
HaC
发布于 2020-12-30 09:49:22
发布于 2020-12-30 09:49:22
75900
代码可运行
举报
文章被收录于专栏:HaC的技术专栏HaC的技术专栏
运行总次数:0
代码可运行

正常情况下,只要主库执行更新生成的所有 binlog,都可以传到备库并被正确地执行,备库就能达到跟主库一致的状态,这就是最终一致性。

MySQL 主备切换流程 – 双 M 结构:

主备延迟

主备切换可能是一个主动运维动作,比如软件升级、主库所在机器按计划下线等,也可能是被动操作,比如主库所在机器掉电。

数据同步的有关时间点:

  1. 主库 A 执行完成一个事务,写入 binlog,我们把这个时刻记为 T1;
  2. 之后传给备库 B,我们把备库 B 接收完这个 binlog的时刻记为 T2;
  3. 备库 B 执行完成这个事务,我们把这个时刻记为 T3。

所谓主备延迟,就是同一个事务,在备库执行完成的时间和主库执行完成的时间之间的差值,也就是 T3-T1。

可以在备库上执行 show slave status 命令,它的返回结果里面会显示 seconds_behind_master,用于表示当前备库延迟了多少秒

主备延迟的来源

1. 备库所在机器的性能要比主库所在的机器性能差。

但实际上,更新过程中也会触发大量的读操作。所以,当备库主机上的多个备库都在争抢资源的时候,就可能会导致主备延迟了.

当然,这种部署现在比较少了。因为主备可能发生切换,备库随时可能变成主库,所以主备库选用相同规格的机器,并且做对称部署,是现在比较常见的情况。

2. 备库的压力大

由于主库直接影响业务,大家使用起来会比较克制,反而忽视了备库的压力控制。结果就是,备库上的查询耗费了大量的 CPU 资源,影响了同步速度,造成主备延迟。

解决:

  1. 一主多从。除了备库外,可以多接几个从库,让这些从库来分担读的压力。
  2. 通过 binlog 输出到外部系统,比如 Hadoop这类系统,让外部系统提供统计类查询的能力。

3. 大事务

出现情况: 主库上必须等事务执行完成才会写入 binlog,再传给备库。所以,如果一个主库上的语句执行 10 分钟,那这个事务很可能就会导致从库延迟 10 分钟。 场景:

  1. 一次性地用 delete 语句删除太多数据。(要避免在高峰期操作会影响业务)
  2. 大表 DDL。(删除表空间)
  3. 备库的并行复制能力

由于主备延迟的存在,所以在主备切换的时候,就相应的有不同的策略。

可靠性优先策略

上图双M的结构下,从状态 1 到状态 2 切换的详细过程是这样的:

  1. 判断备库 B 现在的 seconds_behind_master,如果小于某个值(比如 5 秒)继续下一步,否则持续重试这一步;
  2. 把主库A 改成只读状态,即把 readonly 设置为 true;
  3. 判断备库 B 的 seconds_behind_master的值,直到这个值变成 0 为止;
  4. 把备库 B 改成可读写状态,也就是把 readonly 设置为 false;
  5. 把业务请求切到备库 B。

切换流程一般由专门的HA系统来完成。 切换流程:

可以看到,这个切换流程中是有不可用时间的。因为在步骤 2 之后,主库 A 和备库 B 都处于 readonly 状态,也就是说这时系统处于不可写状态,直到步骤 5 完成后才能恢复。

在这个不可用状态中,比较耗费时间的是步骤 3,可能需要耗费好几秒的时间。这也是为什么需要在步骤 1 先做判断,确保 seconds_behind_master 的值足够小。

试想如果一开始主备延迟就长达 30 分钟,而不先做判断直接切换的话,系统的不可用时间就会长达 30 分钟,这种情况一般业务都是不可接受的。

可用性优先策略

上述 如果强行把步骤 4、5 调整到最开始执行,也就是说不等主备数据同步,直接把连接切到备库 B,并且让备库 B 可以读写,那么系统几乎就没有不可用时间了。这算一种可用性策略。

可用性存在产生数据不一致的情况: 假如有表:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql> CREATE TABLE `t` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `c` int(11) unsigned DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;

insert into t(c) values(1),(2),(3);

初始化数据后,主库和备考都是3行数据,然后继续执行下面这两句:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
insert into t(c) values(4);
insert into t(c) values(5);

假设主库有大量的数据更新,导致主备延迟达到5秒,在插入一条c=4的时候,发起了主备切换。且 binlog_format=mixed,流程如下:

  1. 步骤 2 中,主库 A 执行完 insert 语句,插入了一行数据(4,4),之后开始进行主备切换。
  2. 步骤 3 中,由于主备之间有 5秒的延迟,所以备库 B 还没来得及应用“插入 c=4”这个中转日志,就开始接收客户端“插入 c=5”的命令。
  3. 步骤 4 中,备库 B 插入了一行数据(4,5),并且把这个 binlog 发给主库 A。
  4. 步骤 5 中,备库 B 执行“插入c=4”这个中转日志,插入了一行数据(5,4)。而直接在备库 B 执行的“插入 c=5”这个语句,传到主库 A,就插入了一行新数据(5,5)。

最后的结果就是,主库 A 和备库 B上出现了两行不一致的数据。可以看到,这个数据不一致,是由可用性优先流程导致的。

采用可靠性优先策略的话,你就必须得等到备库 B 的seconds_behind_master=0 之后,才能切换。但是以数据内容为重,选择可靠性策略好一点。

总结:

①首先,有些部署条件下,备库所在机器的性能要比主库所在的机器性能差,原因多个备库部署在同一台机器上,大量的查询会导致io资源的竞争,解决办法是配置”双1“,redo log和binlog都只write fs page cache②备库的压力大,产生的原因大量的查询操作在备库操作,耗费了大量的cpu,导致同步延迟,解决办法,使用一主多从,多个从减少备的查询压力③大事务,因为如果一个大的事务的dml操作导致执行时间过长,将其事务binlog发送给备库,备库也需执行那么长时间,导致主备延迟,解决办法尽量减少大事务,比如delete操作,使用limit分批删除,可以防止大事务也可以减少锁的范围。 ④大表的ddl,会导致主库将其ddl binlog发送给备库,备库解析中转日志,同步,后续的dml binlog发送过来,需等待ddl的mdl写锁释放,导致主备延迟。

可靠性优先策略,①判断备库 B 现在的 seconds_behind_master如果小于某个值(比如 5 秒)继续下一步,否则持续重试这一步,②把主库 A 改成只读状态,即把 readonly 设置为 true,③判断备库 B 的 seconds_behind_master的值,直到这个值变成 0 为止; 把备库 B 改成可读写也就是把 readonly 设置为 false; 把业务请求切换到备库,个人理解如果发送过来的binlog在中转日志中有多个事务,业务不可用的时间,就是多个事务被运用的总时间。如果非正常情况下,主库掉电,会导致出现的问题,如果备库和主库的延迟时间短,在中转日志运用完成,业务才能正常使用,如果在中转日志还未运用完成,切换为备库会导致之前完成的事务,”数据丢失“,但是在一些业务场景下不可接受。 可用性策略,出现的问题:在双m,且binlog_format=mixed,会导致主备数据不一致,使用使用 row 格式的 binlog 时,数据不一致的问题更容易发现,因为binlog row会记录字段的所有值。

问题:发生主从切换的时候,主有的最新数据没同步到从,会出现这种情况吗,出现了会怎么样? 答:

异常切换有可能的 要根据你的处理策略了,如果不能丢,有几个可选的 1.不切换(等这个库自己恢复起来) 2. 使用semi-sync策略 3. 启动后业务做数据对账(这个一般用得少,成本高)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/02/22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MySQL实战第二十五讲-MySQL是怎么保证高可用的?
在上一篇文章中,介绍了 binlog 的基本内容,在一个主备关系中,每个备库接收主库的 binlog 并执行。
越陌度阡
2022/05/06
4040
MySQL实战第二十五讲-MySQL是怎么保证高可用的?
Mysql如何保证高可用
主备切换是很正常的操作,比如服务下线,断电,软件升级等等,首先我们先了解另外一个概念就是同步延迟,与数据同步的三个时间点如下
小土豆Yuki
2021/01/04
7140
Mysql如何保证高可用
MySQL主备的基本原理2
2.备库的压力大。主库提供写能力,备库提供一些读能力。忽略了备库的压力控制,导致备库上的查询耗费了大量的CPU资源,影响了同步速度,造成主备延迟
用户8639654
2021/08/11
7770
【阿里数据库面试题解】MySQL高可用原理
正常情况下,只要主库执行更新生成的所有binlog,都可以传到备库并被正确执行,备库就能达到跟主库一致的状态,这就是最终一致性。
JavaEdge
2021/12/07
6750
【阿里数据库面试题解】MySQL高可用原理
MySQL主从如何保证高可用
通过主备同步我们能够保证数据的可靠性(最终一致性),MySQL的主备可用性主要依赖于主备切换的时间,越短越好,但前提是切换完成以后数据要一致。
shysh95
2022/04/07
4930
MySQL主从如何保证高可用
Mysql 基于innoDB的一篇总结
mysql 为了保证crash-safe, 是通过引入binlog(server 层的逻辑日志), redo log(innodb 存储引擎层日志), undo log(innodb 存储引擎层日志)来保证的。
Check King
2021/08/09
2970
MySQL 主从架构原理
上图展示的是 MySQL 的主从切换流程。在 State-1 中,客户端的读写都直接访问节点 A,而节点 B 是 A 的备库,只是将 A 的更新都同步过来,到本地执行。这样可以保持节点 B 和 A 的数据是相同的。当需要切换的时候,就切成状态 2。这时候客户端读写访问的都是节点 B,而节点 A 是 B 的从库。
张申傲
2020/09/03
1.2K0
MySQL 主从架构原理
MySQL高可用架构探秘:主从复制剖析、切换策略、延迟优化与架构选型
在分布式系统中,单机节点在发生故障时无法提供服务,这可能导致长期的服务不可用,从而影响其他节点的运作,导致的后果非常严重
菜菜的后端私房菜
2024/06/28
5900
Mysql 高可用与主备数据一致性
之前的文章提到过,Mysql 是支持互为主从的,这种结构可以在 某台库宕机后,将客户端的请求转发到 另外一个库 来实现故障迁移的效果。
执生
2020/12/01
3290
京东一面:MySQL 主备延迟有哪些坑?主备切换策略
作为一名开发同学,大家对 MySQL 一定不陌生,像常见的 事务特性、隔离级别 、索引等也都是老生常谈。
微观技术
2022/04/07
2K0
京东一面:MySQL 主备延迟有哪些坑?主备切换策略
MySQL主备的基本原理
在状态1中,客户端的读写都直接访问节点A,而节点B是A的备库,只是将A的更新都同步过来,到本地执行。这样可以保持节点B和A的数据是相同的。当需要切换的时候,就切成状态2。这时候客户端读写访问的都是节点B,而节点A是B的备库
用户8639654
2021/08/11
9240
MySQL实战第二十八讲-读写分离有哪些坑?
在上一篇文章中,我和你介绍了一主多从的结构以及切换流程。今天我们就继续聊聊一主多从架构的应用场景:读写分离,以及怎么处理主备延迟导致的读写分离问题。
越陌度阡
2022/05/06
3930
MySQL实战第二十八讲-读写分离有哪些坑?
MySQL实战第二十七讲-主库出问题了,从库怎么办?
在前面的第24、25和26篇文章中,介绍了 MySQL 主备复制的基础结构,但这些都是一主一备的结构。
越陌度阡
2022/05/06
6790
MySQL实战第二十七讲-主库出问题了,从库怎么办?
DB诊断日 | 99%的DBA都想深入了解的MySQL故障
为更好的帮助DBA运维数据库,腾讯云将在每月12日开展DBbrain诊断日,腾讯云高级产品经理迪B哥直播解析经典数据库运维难题,结合腾讯云数据库智能管家DBbrain的能力,为大家提供问题优化思路和方法,玩转数据库! 工作中遇到棘手故障不知道怎么办?欢迎投稿到诊断日,被选中的案例将由腾讯云资深专家“会诊”,并在DB诊断日在线分析教学,帮您提供解决方案。投稿即有机会获得企鹅公仔,问题被选中即得腾讯云数据库千元代金券~投稿请关注“腾讯云数据库”官方微信后,回复“投稿”即可。 本期诊断日分享的案例是MySQL主
腾讯云数据库 TencentDB
2019/12/17
8420
DB诊断日 | 99%的DBA都想深入了解的MySQL故障
MySQL集群架构[通俗易懂]
题记: 文章内容输出来源:拉勾教育Java高薪训练营。 本篇文章是 MySQL 学习课程中的一部分笔记。
全栈程序员站长
2022/09/18
1.6K0
MySQL集群架构[通俗易懂]
MySQL深入学习第二十四篇-MySQL是怎么保证主备一致的?
在前面的文章中,我不止一次地和你提到了 binlog,大家知道 binlog 可以用来归档,也可以用来做主备同步,但它的内容是什么样的呢?为什么备库执行了 binlog 就可以跟主库保持一致了呢?今天我就正式地和你介绍一下它。
越陌度阡
2020/12/18
5980
MySQL深入学习第二十四篇-MySQL是怎么保证主备一致的?
MySQL主备切换解析
MySQL的主备切换是高可用性数据库架构中的重要一环。通过主备切换,可以在主库出现故障时迅速切换到备库,从而保证系统的持续运行。本文将详细解析MySQL主备切换的基本原理、实现方法以及相关的注意事项。
炒香菇的书呆子
2024/12/04
6730
MySQL 复制延迟怎么处理
‍我们在工作过程中,可能多多少少会遇到主从延迟的情况,这一节内容我们就来聊聊什么情况可能出现主从延迟,怎样判断延迟,存在延迟怎么处理。
数据库交流
2022/12/01
1.8K0
MySQL主从复制延迟解决方案
前面一篇,我们学习到了MySQL多版本并发控制(MVCC)实现原理,这一篇我们接着学习MySQL主从复制模式下的延迟解决方案。
兔云小新LM
2023/03/16
4.8K0
28 | 读写分离有哪些坑?
读写分离的主要目标就是分摊主库的压力。图 1 中的结构是客户端(client)主动做负载均衡,这种模式下一般会把数据库的连接信息放在客户端的连接层。也就是说,由客户端来选择后端数据库进行查询。
HaC
2020/12/30
7650
28 | 读写分离有哪些坑?
相关推荐
MySQL实战第二十五讲-MySQL是怎么保证高可用的?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验