Zabbix监控Mysql | Mysql 5.7，8.0基准性能比较，Mysql8.0主主配置
针对现状,写一个主库,挂着多个从库,然后从多个从库来读,那不就可以支撑更高的读并发压力了吗？
根据上图可以看到QPS：10.73k,实际上真实的并发大量数据到达的时候，我这里最高的QPS是将近15k.而目前单个数据库分片(实例)4CPU8G内存的配置下，最高的性能是7k的QPS。
其实很简单，就是基于主从复制架构，简单来说，就搞一个主库，挂多个从库，然后我们就单单只是写主库，然后主库会自动把数据给同步到从库上去。
写这篇文章是因为之前有一次删库操作，需要进行批量删除数据，当时没有控制好删除速度，导致产生了主从延迟，出现了一点小事故。
大多数人都很清楚，在高并发的时候，如果所有的数据库操作都只通过一台数据库来操作，那数据库很大程度可能出现宕机，而宕机就有可能导致数据丢失，造成不良后果。所以在并发量高的情况下一般会使用主从同步来实现读写分离。本篇文章主要就是围绕主从同步实现读写分离这个主题去讲解。我们其实在Redis专题中也有提到过主从同步的概念，现在我们可以先看下主从同步和读写分离的具体概念。
在企业网站中，后端MySQL数据库只有一台时，会有以下问题： 遇到单点故障，服务不可用 无法处理大量的并发数据请求 数据丢失将会造成很大损失
主从同步使得数据可以从一个数据库服务器复制到其他的服务器上。在复制数据时，一个服务器充当主服务器(master)，其余的服务器充当从服务器(slave)。
MySQL 主从复制（replication）是一个异步的复制过程。从一个实例（Master）复制到另一个实例（Slave），整个过程需要由 Master 上的 IO 进程 和 Slave 上的 Sql 进程 与 IO 进程 共同完成。 首先 Master 端必须打开 binary log（bin-log），因为整个复制过程实际上就是 Slave 端从 Master 端获取相应的二进制日志，然后在本地完全顺序的执行日志中所记录的各种操作。 原理图如下：
本文收录在我开源的《Java学习面试指南》中，目前已经更新有近200道面试官常考的面试题，涵盖了Java系列、Redis系列、MySQL系列、多线程系列、Kafka系列、JVM系列、ZooKeeper系列等等。GitHub地址：https://github.com/hdgaadd/JavaGetOffer，相信你看了一定会有所收获。
通常我们对数据库的读和写都是在同一个数据库服务器中操作,但是当我们的数据量大的时候我们可能会考虑性能问题,那么为了提升系统性能,我们就可以通过MySQL的主从复制(读写分离)来减轻数据库的负载，并且如果当主数据库服务器宕机，我们数据库的数据也不会丢失，因为我们复制到了另外一个服务器上，甚至是多台数据库服务器（一主多从），而MySQL只支持一个主数据库多个数据库。
MySQL中的binlog日志记录了数据库中数据的变动，便于对数据的基于时间点和基于位置的恢复，但是binlog也会日渐增大，占用很大的磁盘空间，因此，要对binlog使用正确安全的方法清理掉一部分没用的日志。
这次来了解一下MySQL的主从复制，为什么要用主从复制？是什么原理？ MySQL的主从复制带来很大的好处首先那就是数据复制的一致性，在生产环境中保证了数据的备份，而且主宕机后，从节点可以也可以保证正常工作， 模式有很多一主一从，一主两从，一主多从等等…
随着业务的增长和技术的演进，在应用架构上，我们经历了单一用用架构->垂直应用架构->分布式应用架构的发展。对应的，后台数据库也出现了分布式的解决方案。读写分离，负载均衡读写以及两点双写集群甚至于多点多写集群这些，都离不开数据库的同步。一般的，这些同步都是在同一机房内的。 渐渐的，我们的业务扩展到了全国各地甚至与全世界各地。我们不能也不再满足于将应用和数据库部署在一个机房之中。在多个机房中，我们部署相同的服务。那么一个比较严峻的问题就是数据库跨机房的镜像如何做，也就是我们如何保证不同机房间的数据一致性？
现在的服务都是分布式，MySQL的集群架构也是一样。那么MySQL的集群架构中有一个点是读写分离，而读写分离是基于binlog实现的。那么接下来就MySQL的读写分离和binlog为突破点进行分析为什么大厂中的默认隔离级别是RC。总体来说以时间线为基准进行讲解。
2、从库的IO线程在指定位置读取主库binlog内容存储到本地的中继日志（Relay Log）中
要完成二进制日志的传输过程，MySQL会在从服务器上启动一个工作线程，称为IO线程，这个IO线程会跟主数据库建立一个普通的客户端连接，然后在主服务器上启动一个特殊的二进制转储线程称为binlogdown线程。
我们也可以通过binlog 看到这些事件，通过mysql提供的工具查看binlog日志，如下:
在做最后一个MySQL NBU备份的时候，发现从库有问题，好奇的是怎么主从状态异常没有告警呢？先不管这么多了，处理了这个问题再完善告警内容。
前一阵子工作项目上的事情忙的焦头烂额，最近要进行部门调整将要去做新的项目。又要学习很多新的知识了，还是很兴奋激动的。今天下班回来查看了一下VPS状态，发现VPS的空间只剩下了1G多！第一反应是被入侵了，但是看了一下log并没有发现什么异常的登录，加上平时基本都是用私钥免密码登录的VPS，别入侵的可能也不是很大。那我就很疑惑了，因为系统文件占用应该也就3G多，我平时并没有在VPS放过什么大文件，不应该一下子少那么多空间。于是开始一番du查找终于找到了罪魁祸首！原来是mysql的log文件导致的。
在数据库运维过程中，很多问题都需要靠人力来及时发现和处理，我之前也是一名DBA，可以说我做DBA的那段时间基本没有拥有过完整的属于自己的休息时间，全天候Online。现在AI技术已经广泛运用到了各个领域，数据库运维其实也是同样的，AI可以成为DBA的得力助手，有问题第一时间告警，甚至给出成熟的解决方案，DBA可以用更多的时间去完成高阶的任务。我现在主要负责的产品是DBbrian，是腾讯云推出的一款数据库智能运维工具。今天就以咱们MySQL运维过程中典型的主从延时故障来作为案例，告诉大家可以如何借助智能运维服务更好的发现和解决这类问题。
随着互联网的发展,网站业务量越来越大,对系统可用性和性能提出了更高的要求。一次系统故障可能会造成巨大的经济损失和负面影响。因此,数据库高可用性成为一个非常重要的话题。
Mysql为了解决这个风险并提高复制的性能，将Slave端的复制改为两个进程来完成。提出这个改进方案的人是Yahoo!的一位工程师“Jeremy Zawodny”。这样既解决了性能问题，又缩短了异步的延时时间，同时也减少了可能存在的数据丢失量。当然，即使是换成了现在这样两个线程处理以后，同样也还是存在slave数据延时以及数据丢失的可能性的，毕竟这个复制是异步的。只要数据的更改不是在一个事物中，这些问题都是会存在的。如果要完全避免这些问题，就只能用mysql的cluster来解决了。不过mysql的cluster是内存数据库的解决方案，需要将所有数据都load到内存中，这样就对内存的要求就非常大了，对于一般的应用来说可实施性不是太大。
上图展示的是 MySQL 的主从切换流程。在 State-1 中，客户端的读写都直接访问节点 A，而节点 B 是 A 的备库，只是将 A 的更新都同步过来，到本地执行。这样可以保持节点 B 和 A 的数据是相同的。当需要切换的时候，就切成状态 2。这时候客户端读写访问的都是节点 B，而节点 A 是 B 的从库。
为更好的帮助DBA运维数据库，腾讯云将在每月12日开展DBbrain诊断日，腾讯云高级产品经理迪B哥直播解析经典数据库运维难题，结合腾讯云数据库智能管家DBbrain的能力，为大家提供问题优化思路和方法，玩转数据库！ 工作中遇到棘手故障不知道怎么办？欢迎投稿到诊断日，被选中的案例将由腾讯云资深专家“会诊”，并在DB诊断日在线分析教学，帮您提供解决方案。投稿即有机会获得企鹅公仔，问题被选中即得腾讯云数据库千元代金券~投稿请关注“腾讯云数据库”官方微信后，回复“投稿”即可。 本期诊断日分享的案例是MySQL主
通常我们说的 MySQL 读写分离是指：对于修改操作在主库上执行，而对于查询操作，在从库上执行。主要目的是分担主库的压力。
mysqldump对于导出10G以下的数据库或几个表，还是适用的，而且更快捷。一旦数据量达到100-500G，无论是对原库的压力还是导出的性能，mysqldump就力不从心了。Percona-Xtrabackup备份工具，是实现MySQL在线热备工作的不二选择，可进行全量、增量、单表备份和还原。（但当数据量更大时，可能需要考虑分库分表，或使用 LVM 快照来加快备份速度了）。 2.2版本xtrabackup能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份，innobackupex通过perl封装了一层xtrabackup，对MyISAM的备份通过加表读锁的方式实现。2.3版本xtrabackup命令直接支持MyISAM引擎。
MySQL主从复制涉及到三个线程，一个运行在主节点（log dump thread），其余两个(I/O thread, SQL thread)运行在从节点：
首先主从复制是什么？简单来说是让一台MySQL服务器去复制另一台MySQL的数据，使两个服务器的数据保持一致。
我们在使用和维护MySQL时，一定经常听到binlog这个概念。binlog在主从复制，数据恢复等场景都有着重要作用。本篇文章主要介绍binlog的概念，功能及常用操作，旨在帮助大家对binlog有更深的了解。
管理mysql主从有2年多了，管理过200多组mysql主从，几乎涉及到各个版本的主从，本博文属于总结性的，有一部分是摘自网络，大部分是根据自己管理的心得和经验所写，整理了一下，分享给各位同行，希望对大家有帮助，互相交流。
在mysql5.4.1之前只存在这种复制模式，在mysql5.7前默认使用这种格式。
MySQL的复制默认是异步的，主从复制至少需要两个MYSQL服务，这些MySQL服务可以分布在不同的服务器上，也可以在同一台服务器上。
随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL 出现危机：
主从复制中常会遇到的问题就是1062主键重复、1023slave上相关记录没找到。
MySQL 中的日志比较重要的有 binlog（归档日志）、redo log（重做日志）以及 undo log，那么跟我们本文相关的主要是 binlog，另外两个日志松哥将来有空了再和大家详细介绍。 1. binlog binlog 我们中文一般称作归档日志，如果大家看过松哥之前发的 MySQL 主从搭建，应该对这个日志有印象，当我们搭建 MySQL 主从的时候就离不开 binlog（传送门：MySQL8 主从复制踩坑指南）。 binlog 是 MySQL Server 层的日志，而不是存储引擎自带的日志，
根据云厂商Benchmark结果，4核8G机器运行 MySQL 5.7 时，可支撑TPS 500，QPS 10000。 但随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL 出现危机：
如果哪天不小心把表给删了，数据都没了或者一不留神被删库跑路了，那怎么把数据恢复呢？这就需要今天的主角binlog登场了。
Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。
默认情况下，MongoDB 更侧重高数据写入性能，而非事务安全，MongoDB 很适合业务系统中有大量 “低价值” 数据的场景。但是应当避免在高事务安全性的系统中使用 MongoDB，除非能从架构设计上保证事务安全。
在很多项目，特别是互联网项目，在使用MySQL时都会采用主从复制、读写分离的架构。
根据经验，想要快速学习一门技术有3种方式。 第一种方式是通过代码来理解它的实现，反推它的逻辑。 这种方式的难度很大，而且起点相对高，能够沉浸其中的人非常少，过程相对来说是苦闷的，但如果能够沉下心来看代码和调试，达到一定程度后，就会逐渐对这门技术有感觉，进而融会贯通。 第二种方式是通过对比的方式来学习。 比如，在有Oracle基础的情况下，通过对比Oracle学习MySQL，就会容易很多。越是深入学习，越是能发现两者之间有很大的差别，进而可以通过不断对比来完善自己的认知，从差异化中找到学习的重点和方向，也能够
MySQL的复制架构允许获取事件的I/O线程和重放事件的SQL线程异步进行。但是在主库上并发执行的查询在从库中只能串行化执行，因为只有一个SQL线程来重放中继日志事件。
MySQL复制从问世到现在已经经历了多个年头，它的稳定性和可靠性也在稳步的提高。这是一个不停进化的过程，由于MySQL的很多重要功能都是依赖于复制，所以复制的快速发展也是很容易理解的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
