在InnoDB内部会维护一个redo日志文件，我们也可以叫做事务日志文件。事务日志会存储每一个InnoDB表数据的记录修改。当InnoDB启动时，InnoDB会检查数据文件和事务日志，并执行两个步骤：它应用（前滚）已经提交的事务日志到数据文件，并将修改过但没有提交的数据进行回滚操作。
现在xtrabackup版本升级到了8.0，但是只对mysql8.0才有支持, 我们这还是使用2.4, 但是2.4相比之前的2.1有了比较大的变化：innobackupex 功能全部集成到 xtrabackup 里面，只有一个 binary，另外为了使用上的兼容考虑，innobackupex 作为 xtrabackup 的一个软链，即 xtrabackup 现在支持非Innodb表备份，并且 Innobackupex 在下一版本中移除(8.0已经移除了)，建议通过xtrabackup替换innobackupex。还有其他的一些新特性，更多的说明可以看xtrabackup新版详细说明。
”工欲善其事，必先利其器“。数据备份是DBA的日常工作，也是保证数据安全的重要工作，要尽善尽美的完成这项工作，必须要使用一款高效可靠的备份工具。MySQL在其企业版里提供了一款备份工具——MySQL Enterprise Backup，简称MEB。
mysqldump的方法耗时：备份+网络传输+恢复 缺点：时间 直接复制文件的方法耗时：网络传输 缺点：可能造成意外的情况
早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，产出了canal项目。canal的原理很简单，就是如上图片所示
Mysql的 Replication 是一个异步的复制过程，从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成，其中两个线程(Sql线程和IO线程)在 Slave 端，另外一个线程(IO线程)在 Master 端。 要实现 MySQL 的 Replication ，首先必须打开 Master 端的Binary Log(mysql-bin.xxxxxx)功能，否则无法实现。因为整个复制过程实际上就是Slave从Master端获取该日志然后再在自己身上完全 顺序的执行日志中所记录的各种操作。打开 MySQL 的 Binary Log 可以通过在启动 MySQL Server 的过程中使用 “—log-bin” 参数选项，或者在 my.cnf 配置文件中的 mysqld 参数组([mysqld]标识后的参数部分)增加 “log-bin” 参数项。
俗话说”常在河边走，哪有不湿鞋”。在DBA的实际运维过程中经常会遇到误删除、改错数据的情况。遇到这种情况我们除了跑路还能怎么办？我们又怎么能做到有备无患呢？我计划用三章的时间和大家聊聊数据库的备份和恢复工具xtrabackup、mysqldump以及闪回工具binlog2sql，今天先介绍下xtrabackup的原理以及使用方法。
数据迁移是指将数据从一个数据库迁移至另一个数据库，按照数据库类型来分类，可分为同构数据库之间的迁移和异构数据库之间的迁移。
官网下载：https://www.percona.com/downloads/XtraBackup/LATEST/
1.所有的save、update、delete操作,都会进入主Mysql服务器,也就是Master节点 2.Master节点会生成一个BinLog二进制文件,每次操作Mysql数据库就会记录到二进制文件当中 3.Slave节点(从服务器),会订阅Master节点的BinLog日志,以增量备份的形式同步数据到Slave节点
ClickHouse 在执行分析查询时的速度优势很好的弥补了 MySQL 的不足，但是对于很多开发者和DBA来说，如何将MySQL稳定、高效、简单的同步到 ClickHouse 却很困难。本文对比了 NineData、MaterializeMySQL（ClickHouse自带）、Bifrost 三款产品，看看他们在同步时的差异。
1、简介 Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点： (1)备份过程快速、可靠； (2)备份过程不会打断正在执行的事务； (3)能够基于压缩等功能节约磁盘空间和流量； (4)自动实现备份检验； (5)还原速度快；
mysqldump备份方式是采用逻辑备份，其最大的缺陷就是备份和恢复速度都慢，对于一个小于50G的 数据库而言，这个速度还是能接受的，但如果数据库非常大，那再使用mysqldump备份就不太适合了。 这时就 需要一种好用又高效的工具，xtrabackup就是其中一款，号称免费版的InnoDB HotBackup。 Xtrabackup实现是 物理备份，而且是物理热备 目前主流的有两个工具可以实现物理热备：ibbackup和xtrabackup；ibbackup是商 业软件，需要授权，非常昂贵。而xtrabackup功能比ibbackup还要强大，但却是开源的。因此我们这里就来介 绍xtrabackup的使用。 Xtrabackup提供了两种命令行工具： xtrabackup：专用于备份InnoDB和XtraDB引擎的 数据； innobackupex：这是一个perl脚本，在执行过程中会调用xtrabackup命令，这样用该命令即可以实现备 份InnoDB，也可以备份MyISAM引擎的对象。
使用 pt-online-schema-change（基于触发器） 或 gh-ost（基于binlog）修改表结构？当然，MySQL DBA 都在使用。但现在有一种新的在线模式更改工具 - Spirit（翻译后：精神）
我负责我司的报表系统，小胖是我小弟。随着业务量的增加，单实例顶不住，我就搭建了多个 Redis 实例，实现主从模式。
canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 canal 就是一个同步增量数据的一个工具。
备份是数据安全的最后一道防线，对于任何数据丢失的场景，备份虽然不一定能恢复百分之百的数据(取决于备份周期)，但至少能将损失降到最低。衡量备份恢复有两个重要的指标：恢复点目标(RPO)和恢复时间目标(RTO)，前者重点关注能恢复到什么程度，而后者则重点关注恢复需要多长时间。
前言 我们试着想一想, 在生产环境中什么最重要？如果我们服务器的硬件坏了可以维修或者换新, 软件问题可以修复或重新安装, 但是如果数据没了呢？这可能是最恐怖的事情了吧, 我感觉在生产环境中应该没有什么比数据更为重要. 那么我们该如何保证数据不丢失、或者丢失后可以快速恢复呢？只要看完这篇, 大家应该就能对MySQL中实现数据备份和恢复能有一定的了解。 为什么需要备份数据？ 其实在前言中也大概说明了为什么要备份数据, 但是我们还是应该具体了解一下为什么要备份数据 在生产环境中我们数据库可能会遭遇各种各样的不测
本文根据洪斌10月27日在「3306π」技术 Meetup - 武汉站现场演讲内容整理而成。
mysqldump是一种逻辑备份方式，将数据转换成sql文件，其最大的缺陷就是备份和恢复时间很长，对于一个小于10G的数据库而言，这个速度还是可以接受的，但是如果数据库较大，那在使用mysqldump备份就非常不合适了。
在旧版本中，Percona XtraBackup 工具集里主要包含两个程序：innobackupex 和 xtrabackup。
https://www.cnblogs.com/grefr/p/6087942.html#top
目前百度上面关于solr对MYSQL的集成一般都是4.0左右。但是前solr的版本已经到了6.0，很多配置都和一起不一样了。所以我今天就和大家聊聊solr6.0如何进行MYSQL数据库的配置。（配置的前提是已经搭建好solr服务器了，如果有什么不清楚的可以参考这篇博客：点击打开链接）。
今天讲讲再MySQL中使用percona-xtrabackup这个开源工具来实现在线备份。
前些天处理了一个需求，当时的数据库环境是Oracle，我算是想尽了Oracle相关的方案，而且在问题的处理过程中，还在不断的琢磨，如果失败了还有什么其他的方案。 所以尽管Oracle这么一个成熟的商业数据库，做起来还是有些难度，需要一些额外的技巧，比如规避bug,间接实现需求等。 但是换个角度，2亿多数据的表，其实MySQL也不是新鲜事儿了。如果MySQL碰到了这种情况，该怎么处理呢。 梳理业务需求 假设业务需求还是不变，如下： 业务同学反馈，数据库中有一个表数据量很大，因
配置参数，Xtrbackup在备份时会读取MySQL的my.cnf配置文件中[mysqld]和[xtrabackup]部分，所以我们可以在配置文件中设置备份的目录[xtrabackup],target_dir = /data/backups/mysql
作者：[美]威廉·肯尼迪（William Kennedy）布赖恩·克特森（Brian
canal，有水渠管道的意思，主要用于基于MySQL数据库的增量日志信息解析，提供增量数据订阅和消费。
本文和封面来源：https://www.percona.com/blog，爱可生开源社区翻译。
备份mysql数据库一直是一个比较恶心的工作，主要就是备份的数据库比较大实在是慢。最近开始使用xtrabackup来备份数据库，速度上快了很多，尤其还原速度要快的多。下面我将从安装开始简要介绍一下如何使用xtrabackup来备份数据库。
在日常运维工作中，对mysql数据库的备份是万分重要的，以防在数据库表丢失或损坏情况出现，可以及时恢复数据。 线上数据库备份场景： 每周日执行一次全量备份，然后每天下午1点执行MySQLdump增量备份. 下面对这种备份方案详细说明下： 1.MySQLdump增量备份配置 执行增量备份的前提条件是MySQL打开binlog日志功能，在my.cnf中加入 log-bin=/opt/Data/MySQL-bin “log-bin=”后的字符串为日志记载目录，一般建议放在不同于MySQL数据目录的磁盘上。 ---
1. 做灾难恢复：对损坏的数据进行恢复和还原 2. 需求改变：因需求改变而需要把数据还原到改变以前测试：测试新功能是否可用
① Agent 部署引导流程优化：新增体验 Demo，用户无需安装 Agent 即可体验产品能力
原文地址：http://blog.itpub.net/29773961/viewspace-2143726/
关于数据同步的方式有很多种，现在有一个场景需要将mysql数据库的数据主动同步到我们的工程中，并且能再mysql数据库客户端更改某一行的数据也能将数据同步到另一个数据库或者工程中，对于这种场景的使用我们应该怎么去实现呢？
Canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
•当你使用了redis或者其他中间件做缓存的时候，经常发现缓存和数据库的数据不一致，只能通过定时任务或者缓存过期的方式去做一些限制。•当你使用了ES做搜索工具，使用双写的那一套方法，还在为ES和数据库不是一个事务而担忧。•当你需要迁移数据的时候，也还在使用双写的方法，如果是同一个数据库的还好，如果是不同数据库就不能保证事务，那么数据一致性也是个问题，就会写很多的修复Job和检查Job。
Xtrabackup介绍 Xtrabackup是由percona开源的免费数据库热备份软件，它能对InnoDB数据库和XtraDB存储引擎的数据库非阻塞地备份（对于MyISAM的备份同样需要加表锁）；mysqldump备份方式是采用的逻辑备份，其最大的缺陷是备份和恢复速度较慢，如果数据库大于50G，mysqldump备份就不太适合。 Xtrabackup安装完成后有4个可执行文件，其中2个比较重要的备份工具是innobackupex、xtrabackup 1）xtrabackup 是专门用来备份InnoDB
备份就是在数据库发生宕机的情况下保证数据不丢失，或者最小程度丢失的解决方法。Mysql 提供了 mysqldump、ibbackup、replication 工具来备份，当然也有第三方工具，如 xtrabacup、LVM快照等
Xtrabackup是Percona公司开发的一款开源的MySQL热备份工具，之前的工作中也是经常使用，但是也仅仅是停留在使用的阶段，对于这个工具的细节，并没有做过多的研究，今天细细看了一下过程，还是有点收获的，写下来记录一下，有不对的地方，还请指正。
对于任何一个企业来说，数据安全的重要性是不言而喻的。我在开篇词中也曾经强调过，凡是涉及到数据的问题，都是损失惨重的大问题。
galera产品是以galera cluster方式为MySQL提高高可用集群解决方案的。galera cluster就是集成了galera插件的mysql集群。galera replication是codership提供的mysql数据同步方案，具有高可用性，方便扩展，并且可以实现多个mysql节点间的数据同步复制与读写，可保障数据库的服务高可用及数据强一致性。
备份的本质就是将数据集另存一个副本，但是原数据会不停的发生变化，所以利用备份只能恢复到数据变化之前的数据。那变化之后的呢？所以制定一个好的备份策略很重要。
全备份的优点是备份保持最新备份，恢复的时候可以花费更少的时间；缺点是如果数据量大，将会花费很多的时间，并对系统造成较长时间的压力。增量备份相反，只需要备份每天的增量日志，备份时间少，对负载压力也小；缺点就是恢复的时候需要全备份加上次备份到故障前的所有日志，恢复时间长一些。
这篇文章将详细地介绍MySQL的高可用解决方案—— MySQL InnoDB Cluster。
在上篇文章 从 SQL Server 到 MySQL （一）：异构数据库迁移 中，我们给大家介绍了从 SQL Server 到 MySQL 异构数据库迁移的基本问题和全量解决方案。全量方案可以满足一部分场景的需求，但是这个方案仍然是有缺陷的：迁移过程中需要停机，停机的时长和数据量相关。对于核心业务来说，停机就意味着损失。比如用户中心的服务，以它的数据量来使用全量方案，会导致迁移过程中停机若干个小时。而一旦用户中心停止服务，几乎所有依赖于这个中央服务的系统都会停摆。
先来回顾一下上一篇的小集群架构，tomcat集群，nginx进行反向代理，服务器异地： 由上一篇讲到，部署的时候，将war部署在不同的服务器里，通过spring-session实现了session共享
MySQL常见备份方案有以下三种： mysqldump + binlog lvm + binlog xtrabackup 本例为方便演示，数据库里面数据为空。下面开始动手 mkdir /opt/backup #创建备份目录 mkdir -p /data/3309/{data,binlog} cd /usr/local/mysql/ scripts/mysql_install_db --u
主从同步的整体思路不外乎“数据镜像（image） + 流水（binlog）”，但是仔细考虑，会有一些值得思考的细节问题，看看你是否考虑过？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
