首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >她那天晚上叫住我,让我去她家给他讲讲Mysql主从同步及主从同步延迟解决方案

她那天晚上叫住我,让我去她家给他讲讲Mysql主从同步及主从同步延迟解决方案

作者头像
知识浅谈
发布于 2022-09-08 03:55:39
发布于 2022-09-08 03:55:39
3551
举报
文章被收录于专栏:分享学习分享学习

🍁 作者:知识浅谈,CSDN签约讲师,CSDN原力作者,后端领域优质创作者,热爱分享创作 💒 公众号:知识浅谈 📌 擅长领域:后端全栈工程师、爬虫、ACM算法 🔥 联系方式vx:zsqtcc

这次探索的问题:

  1. 什么是 Mysql主从同步?
  2. Mysql主从同步为什么会有主从延迟?
  3. 主从同步延迟解决方案?

🤞这次都给他拿下🤞 为什么 主从同步 会暴露出问题呢? 主从同步虽然满足了性能上要求,但一致性可能会有问题。

正菜来了🛴🛴🛴

🍖Mysql主从同步是?

因为数据访问量的大量增长,单体数据库主键有点吃力了,采用主库写数据,从库读数据这种将读写分离开的主从架构便产生了。 常见主从同步有,一主一从,一主多从,多主一从,多主多从,这次拿一主多从举例。

🍕主从同步原理

涉及到两个重要文件

  • binlog(二进制日志文件
  • relay log(中继日志文件)
🍕主从同步原理主从同步过程
  1. 主库将数据库中数据的变化写入到 binlog
  2. 从库连接主库
  3. 从库会创建一个 I/O 线程向主库请求更新的 binlog
  4. 主库会创建一个 binlog dump 线程来发送 binlog ,从库中的 I/O 线程负责接收
  5. 从库的 I/O 线程将接收的 binlog 写入到 relay log 中。
  6. 从库的 SQL 线程读取 relay log 同步数据本地(也就是再执行一遍 SQL )

🍖为什么有主从同步延迟?

温馨提醒:这个主要有以下两点原因

🍕随机重放

MySQL的主从复制都是单线程的操作,主库对所有DDL和DML产生的日志写进binlog,由于binlog是顺序写,所以效率很高。Slave的SQL Thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随机的,不是顺序的,成本高很多。所以SQL Thread线程的速度赶不上主库写binlog的速度,就会产生主从延迟

🍕锁等待

另一方面,由于SQL Thread也是单线程的,当主库的并发较高时,产生的DML数量超过slave的SQL Thread所能处理的速度,或者当slave中有大型query语句产生了锁等待那么延时就产生了。

🍖主从同步延迟解决方案

🍕强制读主库

如果你做的是类似支付这种对实时性要求非常高的业务,那么最直接的方法就是直接读主库,当然这种方法相当于从库做一个备份的功能了。

🍕延迟读

就是在写入之后,等一段时间再读,Eg:写入后同步的时间是0.5s,读取的时候可以设置1s后再读,但是这个方案主要存在的问题就是,不知道主从同步完成所需要的时间。

🍕降低并发

如果你理解了随机重放这个导致主从延迟的原因,那么就比较好理解了,控制主库写入的速度,主从延迟发生的概率自然就小了。{原因:因为主库中sql可能并发执行,可以控制并发速度}。

🍕并行复制

相比于上边的三种,相对比较好的解决方案了。

SQL 单线程进行重放时速度有限,那么能不能采用多线程的方式来进行重放呢? MySQL 5.6 版本后,提供了一种并行复制的方式,通过将 SQL 线程转换为多个 work 线程来进行重放,这样就解决了主从延迟的问题。

🍚总结

常用的主从同步延迟解决方案: 🥖强制读主库 🥖延迟读 🥖降低并发 🥖并行复制(推荐)

🎈靓文推荐🎈 🚀分布式ID的常用解决方案-一把拿下🚀

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-07-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
1 条评论
热度
最新
这个路径在哪呀,我grep 没有呀
这个路径在哪呀,我grep 没有呀
回复回复点赞举报
推荐阅读
编辑精选文章
换一批
MySQL主从同步延迟原因与解决方案
MySQL的主从复制都是单线程的操作,主库对所有DDL和DML产生的日志写进binlog,由于binlog是顺序写,所以效率很高。 Slave的SQL Thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随即的,不是顺序的,成本高很多。 另一方面,由于SQL Thread也是单线程的,当主库的并发较高时,产生的DML数量超过slave的SQL Thread所能处理的速度,或者当slave中有大型query语句产生了锁等待那么延时就产生了。 常见原因:Master负载过高、Slave负载过高、网络延迟、机器性能太低、MySQL配置不合理。
终有救赎
2023/12/14
1.2K0
MySQL主从同步延迟原因与解决方案
mysql主从同步(2)-问题梳理
之前部署了Mysql主从复制环境(Mysql主从同步(1)-主从/主主环境部署梳理),在mysql同步过程中会出现很多问题,导致数据同步异常。 以下梳理了几种主从同步中可能存在的问题: 1)slave运行过慢不能与master同步,也就是MySQL数据库主从同步延迟 MySQL数据库slave服务器延迟的现象是非常普遍的,MySQL复制允许从机进行SELECT操作,但是在实际线上环境下,由于从机延迟的关系,很难将读取操作转向到从机。这就导致了有了以下一些潜规则:“实时性要求不高的读取操作可以放到slave服
洗尽了浮华
2018/01/23
2.4K0
面试官:咱们来聊一聊mysql主从延迟
前段时间遇到一个线上问题,后来排查好久发现是因为主从同步延迟导致的,所以今天写一篇文章总结一下这个问题希望对你有用。如果觉得还不错,记得加个关注点个赞哦
程序员小饭
2022/03/03
5100
面试官:咱们来聊一聊mysql主从延迟
MySQL主从复制延迟解决方案
前面一篇,我们学习到了MySQL多版本并发控制(MVCC)实现原理,这一篇我们接着学习MySQL主从复制模式下的延迟解决方案。
兔云小新LM
2023/03/16
4.9K0
面试系列-mysql主从复制
MySQL主从复制涉及到三个线程,一个运行在主节点(log dump thread),其余两个(I/O thread, SQL thread)运行在从节点:
用户4283147
2022/10/27
1.4K0
面试系列-mysql主从复制
mysql读写分离延迟问题_MySQL读写分离后的延迟解决方案
根据上图可以看到QPS:10.73k,实际上真实的并发大量数据到达的时候,我这里最高的QPS是将近15k.而目前单个数据库分片(实例)4CPU8G内存的配置下,最高的性能是7k的QPS。
全栈程序员站长
2022/09/02
1.5K0
MySQL主从同步如何操作?
随着业务量的增长,高并发,数据库服务器宕机等问题频繁出现,单台MySQL服务器将会成为系统瓶颈。
程序猿川子
2024/08/20
3020
MySQL主从同步如何操作?
MySQL主从同步原理
主从复制,是用来建立一个和主数据库完全一样的数据库环境,称为从数据库;主数据库一般是准实时的业务数据库。
Java技术债务
2022/08/09
2.1K0
MySQL主从同步原理
mysql 主从同步详解分析
Mysql为了解决这个风险并提高复制的性能,将Slave端的复制改为两个进程来完成。提出这个改进方案的人是Yahoo!的一位工程师“Jeremy Zawodny”。这样既解决了性能问题,又缩短了异步的延时时间,同时也减少了可能存在的数据丢失量。当然,即使是换成了现在这样两个线程处理以后,同样也还是存在slave数据延时以及数据丢失的可能性的,毕竟这个复制是异步的。只要数据的更改不是在一个事物中,这些问题都是会存在的。如果要完全避免这些问题,就只能用mysql的cluster来解决了。不过mysql的cluster是内存数据库的解决方案,需要将所有数据都load到内存中,这样就对内存的要求就非常大了,对于一般的应用来说可实施性不是太大。
后端技术探索
2018/08/09
1.9K0
rds mysql主从同步延迟排查与解决
从库严重严重落后于主库,读写分离业务失真,基于从库做的报表数据出不来以及基于从库做的数据探查失效。
叔牙
2023/06/21
1.2K0
rds mysql主从同步延迟排查与解决
MySQL 主从同步延迟的测试与重复数据的探讨 (ab 压力测试)
背景 如果,初次配置完成了 MySQL 数据库的读写分离操作 那么,后面遇到稍大流量访问时; 首先遭遇到的便是 “主从同步延迟” 造成的后果 环境 Linux系统: CentOS7.2 mySQL版本: mySQL5.7.32 MySQL 数据库主从同步延迟原理 (摘抄经验) 推荐参考—— 【MySQL主从数据库同步延迟问题解决】 DDL : 数据定义语言, DML :数据操纵语言 MySQL的主从复制都是单线程的操作, 主库对所有 DDL 和 DML 产生的日志写进 binlog,由于 b
泥豆芽儿 MT
2022/01/06
1.3K0
MySQL 主从同步延迟的测试与重复数据的探讨 (ab 压力测试)
MySql主从复制
在MySql的生产环境中,由于单台MySql不能满足高可用性需求,一般通过主从复制(Master-Slave)方式同步数据,再通过读写分离(MySql-Proxy)来提升数据库并发负载能力。
春哥大魔王
2020/07/14
2.4K0
MySQL原理简介—12.MySQL主从同步
主库接收增删改操作,把增删改操作BinLog写入本地文件。然后从库发送请求给主库,从主库中拉取BinLog。接着从库会重新执行一遍BinLog的操作,还原出一样的数据。
东阳马生架构
2025/02/10
1160
MySQL 主从复制原理与问题
MySQL 主从复制(Master-Slave Replication)是一种常见的数据库复制技术,它在数据库管理中发挥着重要的作用,有以下几个主要用途:
恋喵大鲤鱼
2024/05/24
2690
MySQL 主从复制原理与问题
mysql主从复制延迟问题记录
DML(data manipulation language):数据操纵语句,用于添加、删除、更新和查询数据库记录,并检查数据完整性,常用的语句有select、update、insert、delete
dogfei
2020/07/31
1.1K0
由MySQL复制延迟说起
杨奇龙,网名“北在南方”,7年DBA老兵,目前任职于杭州有赞科技DBA,主要负责数据库架构设计和运维平台开发工作,擅长数据库性能调优、故障诊断。
田帅萌
2019/05/13
1.1K0
由MySQL复制延迟说起
突破Java面试(50)-MySQL读写分离及主从同步延时解决方案
针对现状,写一个主库,挂着多个从库,然后从多个从库来读,那不就可以支撑更高的读并发压力了吗?
JavaEdge
2019/07/13
1.6K0
突破Java面试(50)-MySQL读写分离及主从同步延时解决方案
MySQL拾遗-关于MySQL主从复制的数据同步延迟问题
这种主从复制环境在单机应用的时候没有问题,但是在实际的生产环境中,会存在复制延迟的问题。
行百里er
2020/12/03
1.1K0
MySQL拾遗-关于MySQL主从复制的数据同步延迟问题
关于主从延迟,一篇文章给你讲明白了!
在实际的生产环境中,由单台MySQL作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面
MySQL技术
2021/07/05
7180
关于主从延迟,一篇文章给你讲明白了!
MySQL 主从复制的问题及解决方案
MySQL 主从复制的问题及解决方案
Java架构师必看
2021/05/06
5250
MySQL 主从复制的问题及解决方案
推荐阅读
相关推荐
MySQL主从同步延迟原因与解决方案
更多 >
交个朋友
加入HAI高性能应用服务器交流群
探索HAI应用新境界 共享实践心得
加入腾讯云技术交流站
洞悉AI新动向 Get大咖技术交流群
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档