之前写过一篇名为“快速安全删除MySQL大表”的博客，讲解如何在不影响线上数据库服务的前提下删除大表。实际上清理MySQL binlog也会遇到同样的问题。例如，我们每个binlog文件的大小是1G。最初的做法是，每天凌晨2:30执行下面的操作清理10天前binlog：
sql_log_bin = {ON|OFF} 是否记录二进制日志。启用二进制记录日志，则这项必须是ON
MySQL的二进制日志binlog可以说是MySQL最重要的日志，它记录了所有的DDL和DML语句（除了数据查询语句select），以事件形式记录，还包含语句所执行的消耗的时间。
MySQL实时增量备份，采用binlog日志的好处 掌控所有更改操作,必要时可用于恢复数据 数据库主从复制的必要条件
(1) mysql (2) mysqldump (3) mysqlbinlog (4) mysqladmin (5) mysqlsafe (6) mysqlshow (7) mysqld
binlog 二进制日志文件，这个文件记录了MySQL所有的DML操作。通过binlog日志我们可以做数据恢复，增量备份，主主复制和主从复制等等。
https://dev.mysql.com/doc/refman/5.7/en/mysqlbinlog-hexdump.html
1.下载 git clone https://gitee.com/mo-shan/analysis_binlog cd analysis_binlog
binlog可以说是MySQL中比较重要的日志了，在日常开发及运维过程中，经常会遇到。
在上一篇博客的学习，我们知道了InnoDB存储引擎的两种事务日志，redo log是InnoDB特有的功能，而MySQL也是有自己的日志机制的，也即本文学习的binlog
其次，当我们采用这种方式解析binlog时 $ mysqlbinlog -vvv --base64-output=decode-rows --start-position=4 --stop-position=2000 binlog.000001 binlog.000002 时，它的工作方式是这样的：
我们都知道，binlog可以说是MySQL中比较重要的日志了，在日常学习及运维过程中，也经常会遇到。不清楚你对binlog了解多少呢？本篇文章将从binlog作用、binlog相关参数、解析binlog内容三个方面带你了解binlog。
log_bin binlog的开关和binlog的前缀
有时候需要审计看看谁执行了啥操作. 但很多环境是没得审计的. 这时候就可以通过解析binlog 得到ddl执行的记录了(审计dml套麻烦了).
binlog中事务以GTID_EVENT开始, 以XID_EVENT结束, 很多信息都藏在gtid_event中, 比如事务大小, 提交时间等. MTS也会查看gtid中的信息, 还涉及到两阶段提交, 但不是本文的重点, 就不讲了.
在mysql中,当发生数据变更时,都会将变更数据的语句,通过二进制形式,存储到binlog日志文件中.
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
分担数据库的读负载 对服务器进行水平扩展 异步复制(无法保证主库和从库的延迟) 复制解决了什么问题？ 不同服务器上的数据分布 利用二进制日志进行增量备份 不需要太多带宽 但是基于行复制 需要大量的带宽 跨IDC环境下可能有问题 应该进行分批复制 实现数据读取的负载均衡 采用非共享架构 增加数据安全性 减少主库服务器的负载 数据库之间的故障切换 binlog日志 记录了所有MySQL数据库的修改事件 包括增删改查时间和对表结构的修改事件 二进制日志格式 基于段的格式 binlog_format=STA
今天分析了另外一个关于数据库延迟跳动的问题，也算是比较典型，这个过程中也有一些分析问题的方法和技巧工参考。
update语句也需要经过连接器、分析器、优化器、执行器，但是update语句相比select语句还是有很大不同的，更新流程设计两个重要的日志模块：
重点文档:https://github.com/danfengcao/binlog2sql
MySQL以简单易用著称，在同一个服务器上可以安装N个不同的版本，方便测试，迁移等等。此外，对于大多数Linux系统，集成了mysql，缺省会被安装。因此多版本的问题导致一些莫名的错误也是时有发生。最近在提取binlog日志时，碰到了一个read_log_event，Found invalid event in binary log。经查发现原来是mysqlbinlog版本问题引发的。如下文，供大家参考。
基本定义：二进制日志，也成为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中；
mysqlbinlog 是将 binlog 解析成可读可执行的 SQL 的重要工具。
数据库不仅仅是dba的工作，每一个测试人员也应该懂得基本的数据运维操作，因为数据库是数据承载的地方并且是系统中非常重要的一部分，所以我们也需要熟练的对数据库进行基本维护。
基本定义：二进制日志，也成为二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中； 作用：binlog的作用类似于Oracle的归档日志，可以用来查看数据库的变更历史（具体的时间点所有的SQL操作）、数据库增量备份和恢复（增量备份和基于时间点的恢复）、Mysql的复制（主主数据库的复制、主从数据库的复制） 二进制日志的信息： 文件位置：默认存放位置为数据库文件所在目录下 文件的命名方式： 名称为hostname-bin.xxxxx （重启mysql一次将会自动生成一个新的bin
binlog：记录数据库所有数据修改的记录,主要用于主从复制，有三种模式，默认为statement模式 row level:会记录每一行数据修改的形式，然后在slave端对相同数据进行修改缺点：日志量大
二进制日志（binlog）是 MySQL 日志结构中重要的部分；记录了数据的更改操作，用于数据恢复、数据复制以及审计。然而在众多实际场景中经常发生高并发引起 binlog 暴涨的问题将挂载点空间占满以及主从网络带宽成为瓶颈时主从延时过大。8.0.20 版本推出 binlog 压缩功能，有效缓解甚至解决此类问题。
玩过binlog server的同学都知道，它使用mysqlbinlog命令以daemon进程的方式模拟一个slave的IO线程与主库连接，可以很方便地即时同步主库的binlog，以便弥补定时备份策略中最近一次备份到下一次备份完成之前这段时间内的数据容易丢失的问题。 优点：备份出来的binlog不会受到主库expire_logs_days参数的影响，因为binlog server是模拟slave的IO线程，也不会受到从库relay_log_purge参数影响。这些binlog除非你手动清理，否则就会持续
最近的MHA测试过程中，碰到了mysqlbinlog客户端的版本低于服务端版本的问题。即这个错误提示：mysqlbinlog is 3.2 (included in MySQL Client 5.0 or lower), but MySQL server version is 5.6.22-log. mysqlbinlog can not parse row based events。这个应该是个比较常见的错误。主要是由于在安装Linux期间通常在自带安装mysql相关rpm包，后来又安装了高版本的mysql而引发的一些版本问题。下面是这个问题的主要描述。
log-bin = /path/mysql-bin #其记录日志文件名为mysql-bin.index,mysql-bin.000001(注:重启或者单个文件超出限制会+1)
在GreatSQL中，Binlog可以说是 GreatSQL 中比较重要的日志了，在日常开发及运维过程中经常会遇到。Binlog即Binary Log，二进制日志文件，也叫作变更日志（Update Log）。 详细Binglog日志介绍：https://greatsql.cn/docs/8032-25/user-manual/2-about-greatsql/4-3-greatsql-binary-log.html Binglog主要应用于数据恢复和数据复制，但是在Binlog中也含有非常多有价值的信息，比如说：
作者：孙绪宗，新浪微博 DBA 团队工程师，主要负责 MySQL、PostgreSQL 等关系型数据库运维。
近段时间一直在研究mysql的日志系统,在网上看了N多mysql日志操作的文章，但都过于零乱，为了让自己以后不再搞忘，特作出以下总结：
使用 --read-from-remote-server 读取远程数据库日志，而不是读取本地文件
MySQL :: Download MySQL Community Server (Archived Versions) (opens new window)
MySQL binlog日志记录了MySQL数据库从启用日志以来所有对当前数据库的变更。binlog日志属于二进制文件，我们可以从binlog提取出来生成可阅读的SQL语句来重建当前数据库以及根据需要实现时点恢复或不完全恢复。本文主要描述了如果提取binlog日志，并给出相关示例。
该命令既可以读取本地日志文件又可以读取远程数据库文件(不包含远程数据库relay log)
mysqlbinlog命令默认使用binlog语句将行事件以base-64字符串编码
事务控制事件涵盖了事务的起始时间、起始位置、结束时间和结束位置。通过这些详细信息，我们能够计算事务的大小，进而评估其是否属于大型事务，以及是否可能引起主从同步的延迟问题，及时发现大事务,可避免复制故障。 简介 本文分享的神器的名字就叫做binlog_summary，出自陈臣老师的手笔，也是开源的Python脚本文件，开源地址：https://github.com/slowtech/dba-toolkit/blob/master/mysql/binlog_summary.py 下载 运行此工具需要有Python环境，若没有python环境请自行下载 下载binlog_summary.py脚本，并授权 $ wget https://raw.githubusercontent.com/slowtech/dba-toolkit/master/mysql/binlog_summary.py $ chmod 755 binlog_summary.py 先用./binlog_summary.py -h查看下帮助 $ ./binlog_summary.py -h usage: binlog_summary.py [-h] [-f BINLOG_TEXT_FILE] [--new] [-c {tps,opr,transaction}] [--start START_DATETIME] [--stop STOP_DATETIME] [--sort SORT_CONDITION] [-e] [--limit LIMIT] options: -h, --help show this help message and exit -f BINLOG_TEXT_FILE, --file BINLOG_TEXT_FILE Binlog text file, not the Raw binary file --new Make a fresh start -c {tps,opr,transaction}, --command {tps,opr,transaction} Command type: [tps, opr, transaction],tps: transaction per second, opr: dml per table, transaction: show transaction info --start START_DATETIME Start datetime, for example: 2004-12-25 11:25:56 --stop STOP_DATETIME Stop datetime, for example: 2004-12-25 11:25:56 --sort SORT_CONDITION Sort condition: time or size, you can use it when command type is transaction -e, --extend Show transaction info in detail,you can use it when command type is transaction --limit LIMIT Limit the number of rows to display 其中参数介绍:
上节我们说到如何备份二进制文件时说到通过--read-from-remote-server 连接数据库，
此选项可以在Mysql客户端执行SQL语句，而不用连接到MySQL数据库再执行，对于一些批处理脚本，这种方式尤其方便。
MySQL的日志有主要有四种，会记录不同的操作行为，分别是----二进制日志、错误日志、查询日志、慢查询日志。开启日志是MySQL安全的必要手段之一，但是会影响MySQL的性能，所以要学会日志管理，根据实际的业务需求来选择日志。
使用数据库的时候，我们每个操作都十分小心，尤其是不能直接在数据库上执行 update、delete 等操作，否则万一忘记加全 where 条件，可能就会造成无法挽回的结果。 有一句十分流行的调侃 — “从删库到跑路”就很形象的说明了误操作后的结果，那么如果你真的不小心执行了删库操作，真的就无法挽回了吗？ 当然不会了，通常对于线上数据库，我们都会定时冷备，dump 导出数据库的全量备份，并且保留一段时间内的所有修改日志，进而实现在必要时回滚到这段时间内的任何一秒。 这里提到的“日志”指的就是 binlog，那么究竟什么是 binlog 呢？本文我们就来详细介绍一下。
上图上有个warning，说的是如果用--database了，可能会过滤掉一些事务
[root@db02 data]# mysqlbinlog mysql_bin.000001
使用mysqlbinlog按时间查询二进制日志时，会用到start-datetime和stop-datetime选项。
如果在开始备份时没有指定--flush-logs参数，则需要首先查看备份时所处的位置
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
