对于任何一个企业来说，数据安全的重要性是不言而喻的。我在开篇词中也曾经强调过，凡是涉及到数据的问题，都是损失惨重的大问题。
数据是当今Web，移动，社交，企业和云应用程序的流行货币。确保数据始终可用是任何组织的头等大事。几分钟的停机时间可能会导致收入和声誉严重损失。
公司运维能力不是太好，数据库最近出了一次问题，导致丢失了一天的数据，并且某个服务宕机一晚上。为了避免再次出现类似问题，我决定添加一个Slave服务器，以避免数据丢失和服务宕机的问题。
我们在平时工作中，使用最多的数据库就是 MySQL 了，随着业务的增加，如果单单靠一台服务器的话，负载过重，就容易造成宕机。
又赶上一年一度的金九银十的日子，这段期间的招聘岗位相对前几个月会多些，如果在目前公司没有进步、没有前途时，这段时间可以准备一下，去外面看看机会。不过在外面找工作时，可以提前在网上看看招聘信息，看看自己是否达到公司要求。如果多看下高薪资的技术人员招聘要求时，就会发现对三高都有一定的要求，比如下面一家公司的要求就对高并发、高负载和高可用性系统设计要有开发经验。
Q：为啥要引入主从同步机制？ A：防止业务数据库突然宕掉，不能快速的恢复业务正常运行，有利于数据库架构的健壮性，提升访问速度，方便运维保证的数据物理安全(容灾备份)；
根据云厂商Benchmark结果，4核8G机器运行 MySQL 5.7 时，可支撑TPS 500，QPS 10000。 但随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL 出现危机：
MySQL的复制默认是异步的，主从复制至少需要两个MYSQL服务，这些MySQL服务可以分布在不同的服务器上，也可以在同一台服务器上。
两个节点可以采用简单的一主一从模式，或者双主模式，并且放置于同一个VLAN中，在master节点发生故障后，利用keepalived/heartbeat的高可用机制实现快速切换到slave节点；
mysql主从架构部署比较简单，常见架构根据主从节点个数不同分成 一主多从，多主一从，双主节点等。
随着数据量的增大，读写并发的增加，系统可用性要求的提升，单机 MySQL 出现危机：
2、从库的IO线程在指定位置读取主库binlog内容存储到本地的中继日志（Relay Log）中
要完成二进制日志的传输过程，MySQL会在从服务器上启动一个工作线程，称为IO线程，这个IO线程会跟主数据库建立一个普通的客户端连接，然后在主服务器上启动一个特殊的二进制转储线程称为binlogdown线程。
二进制日志文件并不是每次写的时候都会同步到磁盘，当发生宕机的时候，可能会有最后一部分数据没有写入到binlog中，这给恢复和复制带来了问题。当sync_binlog=1表示每写缓冲一次就同步到磁盘，表示同步写磁盘的方式来写binlog。也就是说每当向MySQL提交一次事务，MySQL将进行一次fsync之类的磁盘同步命令来将binlog_cache的数据强制刷到磁盘中sync_binlog的值默认为0，sync_binlog=0时表示采用操作系统机制进行缓冲数据同步。采用sync_binlog=1时，会增加磁盘IO的次数，会影响写入性能。sync_binlog=1时，并不是100%安全，会存在相应的问题。比如说使用Innodb引擎时，在一个事务发出commit前，会将binlog立即刷到磁盘中。如果这时候已经写入到binlog中，但是还没有提交就已经挂了，那么MySQL重启时，会将通过Redo log、Undo log将这个事务回滚掉，但是binlog已经记入了该事务信息，不能回滚掉。所以我们需要设置innodb_support_xa=1确保MySQL服务层的binlog和MySQL存储引擎层的Redo log、Undo log之间的数据一致性。
首先主从复制是什么？简单来说是让一台MySQL服务器去复制另一台MySQL的数据，使两个服务器的数据保持一致。
Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护文件的一个索引以跟踪日志循环。这些日志可以记录发送到从服务器的更新。当一个从服务器连接主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，然后封锁并等待主服务器通知新的更新。
然后set global sql_slave_skip_counter = 1;跳过一步错误
在了解主从复制之前必须要了解的就是数据库的二进制日志(binlog),主从复制架构大多基于二进制日志进行，二进制日志相关信息参考：http://www.cnblogs.com/clsn/p/8087678.html#_label6
主要介绍：复制功能介绍、mysql二进制日志、mysql复制拓扑、高可用框架、单点故障、读写分离和负载均衡介绍等 mysql复制功能介绍 mysql复制功能提供分担读负载 复制解决的问题 实现在不同服务器上的数据分布 利用二进制日志增量进行 不需要太多的带宽 但是使用基于行的复制在进行大批量的更改时会对带宽带来一定得压力，特别是跨IDC环境下进行复制 实现在不同服务器上的数据分布 实现数据读取的负载均衡 需要其他组件配合完成 利用DNS轮询的方式把程序的读连接到不同的备份数据库， 使用LVS，haproxy
近期由于特殊原因有一台主库宕机了一个小时没有处理，这个事情还引发了一个比较诡异的情况，那就是在主库宕机一个小时候后，监控才发出从库IO thread中断的报警。也就是说在那一个小时内，从库的同步状态是双Yes的。这是多么诡异的现象，这是因为什么原因呢？
MySQL主从复制涉及到三个线程，一个运行在主节点（log dump thread），其余两个(I/O thread, SQL thread)运行在从节点：
题记： 文章内容输出来源：拉勾教育Java高薪训练营。 本篇文章是 MySQL 学习课程中的一部分笔记。
MySQL高可用方案中MHA绝地是一个相当成熟的实现。对于数据的切换，其实MGR也能很好的完成，也就是说，数据层面的角色切换已经刻意很平滑的做好了，但是对于访问IP的处理，还是有很大的空间，MHA提供了很多可选的空间来支持。 常见的组合方式有： MHA+VIP MHA+keepalive MHA+Zookeeper 当然MHA+VIP是一种很成熟和经典的方案了。 一般来说都有以下类似的架构方式，假设架构模式为一主两从。对于应用访问来说，提供的IP信息就依据绑定的VIP地址为准。VIP
在MySQL的高可用架构中，MHA、MGR等方法现在比较流行，mm+keepalive的方法目前来看是比较老旧的办法，今天对这种办法做一个简单的介绍，题目中写的"纸上谈兵"，是因为这个实验我没有做，也不打算做，旨在说明清除原理即可。
大家好！我是黄啊码，MySQL的入门篇已经讲到第15个课程了，今天我们继续讲讲大白篇系列的最后一章——数据库的主同步问题
本文收录在我开源的《Java学习面试指南》中，目前已经更新有近200道面试官常考的面试题，涵盖了Java系列、Redis系列、MySQL系列、多线程系列、Kafka系列、JVM系列、ZooKeeper系列等等。GitHub地址：https://github.com/hdgaadd/JavaGetOffer，相信你看了一定会有所收获。
MySQL高可用方案中MHA绝地是一个相当成熟的实现。对于数据的切换，其实MGR也能很好的完成，也就是说，数据层面的角色切换已经刻意很平滑的做好了，但是对于访问IP的处理，还是有很大的空间，MHA提供了很多可选的空间来支持。
在mysql5.4.1之前只存在这种复制模式，在mysql5.7前默认使用这种格式。
Tech 导读 MySql是常用的数据库，本文将为读者带来MySql主从同步知识点的分享，巩固MySql基础知识。通过图文并茂地讲解如何解决主从同步一致性的问题，也可以让读者们全方位了解MySql主从同步的过程。
年后在进行腾讯二面的时候，写完算法的后问的第一个问题就是，MySQL的半同步是什么？我当时直接懵了，我以为是问的MySQL的两阶段提交的问题呢？结果确认了一下后不是两阶段提交，然后面试官看我连问的是啥都不知道，就直接跳过这个问题，直接聊下一个问题了。所以这次总结一下这部分的知识内容，文字内容比较多，可能会有些枯燥，但对于这方面感兴趣的人来说还是比较有意思的。
MySQL的主从复制都是单线程的操作，主库对所有DDL和DML产生的日志写进binlog，由于binlog是顺序写，所以效率很高。 Slave的SQL Thread线程将主库的DDL和DML操作事件在slave中重放。DML和DDL的IO操作是随即的，不是顺序的，成本高很多。 另一方面，由于SQL Thread也是单线程的，当主库的并发较高时，产生的DML数量超过slave的SQL Thread所能处理的速度，或者当slave中有大型query语句产生了锁等待那么延时就产生了。 常见原因：Master负载过高、Slave负载过高、网络延迟、机器性能太低、MySQL配置不合理。
MMM 即 Multi-Master Replication Manager for MySQL:mysql 多主复制管理器,基于 perl 实现,关于 mysql 主主复制配置的监控、故障转移和管理的一套可伸缩的脚本套件（在任何时候只有一个节点可以被写入），MMM 也能对从服务器进行读负载均衡，所以可以用它来在一组用于复制的服务器启动虚拟 ip，除此之外，它还有实现数据备份、节点之间重新同步功能的脚本。MySQL 本身没有提供 replication failover 的解决方案，通过 MMM 方案能实现服务器的故障转移，从而实现 mysql 的高可用。MMM 不仅能提供浮动 IP 的功能，如果当前的主服务器挂掉后，会将你后端的从服务器自动转向新的主服务器进行同步复制，不用手工更改同步配置。这个方案是目前比较成熟的解决方案。
基于主从复制的读写分离，是我们在单机环境下，数据库的性能到瓶颈了，可以通过读写分离，提高后台服务性能。存储这一块的增删改查的并发的处理能力，主库专门负责相对少的写操作，从库专门负责相对多的读操作，主库的数据更改通过主从复制同步到从库
主要介绍：复制功能介绍，mysql二进制日志，mysql复制拓扑，高可用框架，单点故障，读写分离和负载均衡
所以能看到主从同步的内容就是二进制日志（Binlog），它虽然叫二进制日志，实际上存储的是一个又一个事件（Event），这些事件分别对应着数据库的更新操作，比如 INSERT、UPDATE、DELETE 等。另外我们还需要注意的是，不是所有版本的 MySQL 都默认开启服务器的二进制日志，在进行主从同步的时候，我们需要先检查服务器是否已经开启了二进制日志。
今天主要聊一下MySQL的异步复制、全同步复制与半同步复制，目前我们生产库实际上用的就是异步复制了，后面再转成半同步复制。
1、做数据的热备，作为后备数据库，主数据库服务器故障后，可切换到从数据库继续工作，避免数据丢失。 2、架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。 3、读写分离，使数据库能支撑更大的并发。在报表中尤其重要。由于部分报表sql语句非常的慢，导致锁表，影响前台服务。如果前台使用master，报表使用slave，那么报表sql将不会造成前台锁，保证了前台速度。
🧑个人简介：大家好，我是 shark-Gao，一个想要与大家共同进步的男人😉😉
数据库服务器存在单点问题 数据库服务器资源无法满足增长的读写请求 高峰时数据库连接数经常超过上限
答： 当我们在 4 核 8G 的机器上运 MySQL 5.7 时，大概可以支撑 500 的 TPS 和 10000 的 QPS。但是当服务的用户量远超这个量的时候，并且读的量大于写数据的量的时候，那我们解决的办法之一就是将数据库进行主从读写分离。
爱奇艺每天都为数以亿计的用户提供7x24小时不间断的视频服务。通过爱奇艺的平台，用户可以方便的获取海量、优质、高清的视频资源。但如果服务平台出现故障，会有大量的用户将无法正常播放视频，因此我们的应用服务以及数据库服务都必须具备高可用架构。
即没有特别指明的类型，大多数时候mysql 引擎都支持这种索引（Archive 是例外， 5.1 之前不支持，之后支持单个自增列的索引）
复制解决的基本问题 让一台服务器的数据让其他服务器保持同步，一台主库的数据可以同步到多台备库上，悲苦本身也可以被配置成另外一台服务器的主库。 MySQL支持两种复制方式：基于行的复制和基于语句的复制（逻辑复制）。这两种都是在主库上记录二进制日志，在备库重放日志的方式来实现异步的数据复制， 这说明同一时间主备库存在不一致，并且无法保证主备之间的延迟。 常见的复制用途 数据分布：MySQL通常复制不会造成很大的贷款压力，但基于行的复制会比基于语句的复制带宽压力大， 可以随意停止或开始复制，并在不同的地理位置来分
从事DBA的行业也有两年多了，在数据备份上无论是理论和实践上，都积累了一些经验，恰逢这两天又出现一些数据备份方面的问题，这里，我将之前遇到过的数据备份方法简单做个整理。
MySQL也提供了一个半同步复制，即同步复制，其要求主库在commit时等待从库接受 完事务并返回确认信息后才能提交
由于我这里使用docker搭建，所以需要把配置文件和数据文件映射到宿主机，让容器运行时挂载数据
MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中， MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
