首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >MySQL日志维护策略汇总

MySQL日志维护策略汇总

作者头像
码农编程进阶笔记
发布于 2021-07-20 07:50:20
发布于 2021-07-20 07:50:20
71700
代码可运行
举报
运行总次数:0
代码可运行

这几天要折腾mysql服务器,所以在网上搜罗了一些维护策略,然后自己总结实验,下面是我的总结经验和别人的一些建议。

日志类型:

MySQL有几个不同的日志文件,可以帮助你找出mysqld内部发生的事情:

日志文件:记入文件中的信息类型 错误日志:记录启动、运行或停止时出现的问题 查询日志:记录建立的客户端连接和执行的语句 二进制日志:记录所有更改数据的语句。主要用于复制和即时点恢复 慢日志:记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询 事务日志:记录InnoDB等支持事务的存储引擎执行事务时产生的日志

1.启动慢查询日志:

MySQL 如果启用了slow_query_log=ON选项,就会记录执行时间超过long_query_time(默认10s)的查询(初使表锁定的时间不算作 执行 时间)。日志记录文件为slow_query_log_file[=file_name],如果没有给出file_name值, 默认为主机名,后缀为-slow.log。如果给出了文件名,但不是绝对路径名,文件则写入数据目录。

【这个可以在调试mysql性能的时候启用,可以找出是哪个sql指令最浪费时间。生产环境中建议关闭】

2.生产环境中关闭通用查询日志:

由 于打开通用查询日志是记录用户的所有操作,在生产环境中这个日志的量是非常大的,所以一般情况下都是不打开的,myslq默认的该日志功能也是关闭的,在 特殊情况下才进行打开【一般只有在开发测试环境中,为了定位某些功能具体使用了哪些SQL语句的时候,才会在短时间段内打开该日志来做相应的分析。】

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql> set global general_log = 1; #1:启动通用查询日志,0:关闭通用查询日志
mysql> show global variables like '%general_log%';
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
+------------------+----------------------------+ 
| Variable_name | Value | 
+------------------+----------------------------+ 
| general_log | ON | #是否启用了通用查询日志 
| general_log_file | /var/run/mysqld/mysqld.log | #日志路径 
+------------------+----------------------------+

3.定期备份二进制日志和sql数据:【本地一份,远程日志主机一份,存储主机一份】

在 my.cnf中log-bin = [filename]是启用二进制日志,默认以[filename].000001往上记录的,从启用log-bin之后【此时最好用mysqldump 保存当前的mysql某个库的数据,因为二进制日志只是记录了从现在起到最近一次mysql当机重启中的所有sql语句】,mysql就会开始记录每一个 sql语句,一旦mysql因各种原因需要重启,则会产生新的二进制日志,000001的后缀名会不断往上自加。若是在mysql当机期间mysql的数 据遭到了破坏(如磁盘损坏),之前的数据全部都被破坏了,这时候这个备份策略就可以帮你挽回损失。你可以从二进制日志中恢复从开始到最近一次mysql重 启这段时间的数据。【二进制日志中记录的是每一个sql语句,可以用mysqlbinlog [filename]查看日志内容】

4.sync_binlog全局变量的取值一定要合适:

默 认情况下,并不是每次写入时都将二进制日志与硬盘同步。因此如果操作系统或机器(不仅仅是MySQL服务器)崩溃,有可能二进制日志中最后的语句丢失了。要想防止这种情况,你可以使用sync_binlog全局变量(1是最安全的值,但也是最慢的),使二进制日志在每N次二进制日志写入后与硬盘同步。对非 事务表的更新执行完毕后立即保存到二进制日志中。

下面解释下sync_binlog:

“sync_binlog”:这个参数是对于MySQL系统来说是至关重要的,他不仅影响到Binlog对MySQL所带来的性能损耗,而且还影响到MySQL中数据的完整性。对于“sync_binlog”参数的各种设置的说明如下:

sync_binlog=0,当事务提交之后,MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘,而让Filesystem自行决定什么时候来做同步,或者cache满了之后才同步到磁盘。

sync_binlog=n,当每进行n次事务提交之后,MySQL将进行一次fsync之类的磁盘同步指令来将binlog_cache中的数据强制写入磁盘。

在 MySQL中系统默认的设置是sync_binlog=0,也就是不做任何强制性的磁盘刷新指令,这时候的性能是最好的,但是风险也是最大的。因为一旦系 统Crash,在binlog_cache中的所有binlog信息都会被丢失。而当设置为“1”的时候,是最安全但是性能损耗最大的设置。因为当设置为 1的时候,即使系统Crash,也最多丢失binlog_cache中未完成的一个事务,对实际数据没有任何实质性影响。从以往经验和相关测试来看,对于 高并发事务的系统来说,“sync_binlog”设置为0和设置为1的系统写入性能差距可能高达5倍甚至更多。

5.如果数据库有很多的事务型操作,则建议把二进制日志的回滚上限设置大一些:

对于事务表,例如BDB或InnoDB表,所有更改表的更新(UPDATE、DELETE或INSERT)被缓存起来,直到服务器接收到 COMMIT语句。在该点,执行完COMMIT之前,mysqld将整个事务写入二进制日志。当处理事务的线程启动时,它为 缓冲查询分配binlog_cache_size大小的内存。如果语句大于该值,线程则打开临时文件来保存事务【所以如果 bunlog_cache_size足够大,就避免了过多的磁盘的I/O操作,可以把数据全部缓存在内存中】。线程结束后临时文件被删除。【“max_binlog_cache_size”:和"binlog_cache_size"相对应,但是所代表的是binlog能够使用的最大 cache内存大小。当我们执行多语句事务的时候,max_binlog_cache_size如果不够大的话,系统可能会报出“Multi- statementtransactionrequiredmorethan'max_binlog_cache_size'bytesofstorage” 的错误。所以最好也把max_binlog_cache_size也调大些(具体多大看你的服务器了)】

6.尽量把max_binlog_size设置大些

Binlog日志最大值,一般来说设置为512M或者1G,但不能超过1G。该大小并不能非常严格控制Binlog大小,尤其是当到达Binlog 比较靠近尾部而又遇到一个较大事务的时候,系统为了保证事务的完整性,不可能做切换日志的动作,只能将该事务的所有SQL都记录进入当前日志,直到该事务 结束。

7.下面是mysql环境的情况:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
mysql> show variables like '%binlog%';
 
+--------------------------------+------------+ | Variable_name | Value | +--------------------------------+------------+ 
  
| binlog_cache_size | 1048576 | 
  
| innodb_locks_unsafe_for_binlog | OFF | 
  
| max_binlog_cache_size| 4294967295 | 
  
| max_binlog_size| 1073741824 | 
  
| sync_binlog| 0| 
  
+--------------------------------+------------+

以上就是汇总的MySQL日志维护策略,希望对大家维护MySQL日志有所帮助。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-11-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 码农编程进阶笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
MySQL二进制日志(binary log)总结
今天无意中发现了一个云栖社区举行的MySQL“第一季:挑战玄惭之 慢SQL性能优化赛”,在测试服务器上执行其测试脚本写入数据的时候报错提示如下, Multi-statement transaction required more than 'max_binlog_cache_size' bytes of storage,increase this mysqld variable and try agagin
星哥玩云
2022/08/13
1.3K0
MySQL二进制日志(binary log)总结
Mysql日志解析
修改Mysql配置 Mysql配置地址为: C:\Program Files (x86)\MySQL\MySQL Server 5.5 如果无法修改可以把my.ini拷贝出来,修改完后,再拷贝回去! 如果配置了Mysql的日志生成路径,但是该目录尚未创建,那么启动会报错! 关于Mysql日志 splunk内置了两种mysql的日志,分别是mysqld以及mysql_error mysqld_error Standard mysql error log标准的mysql错误日志 050818 16:19:29
用户1154259
2018/01/17
5.2K0
Mysql数据库之Binlog日志使用总结
binlog二进制日志对于mysql数据库的重要性有多大,在此就不多说了。下面根据本人的日常操作经历,并结合网上参考资料,对binlog日志使用做一梳理: 一、binlog日志介绍 1)什么是binlog binlog日志用于记录所有更新了数据或者已经潜在更新了数据(例如,没有匹配任何行的一个DELETE)的所有语句。语句以“事件”的形式保存,它描述数据更改。 2)binlog作用 因为有了数据更新的binlog,所以可以用于实时备份,与master/slave主从复制结合。 3)和binlog有关参数 l
洗尽了浮华
2018/01/23
6.5K0
MySQL日志介绍
(1) 错误日志log_error:记录MySQL服务的启动、运行或停止MySQL服务时出现的问题
AsiaYe
2019/11/06
1.3K0
MySQL日志介绍
后端开发必备的 MySQL 日志文件知识点
日志文件记录了影响MySQL数据库的各种类型活动,MySQL数据库中常见的日志文件有错误日志,二进制日志,慢查询日志和查询日志。下面分别对他们进行介绍。
挨踢小子部落阁
2019/09/27
6350
MySQL日志管理
一、日志类型: MySQL有几个不同的日志文件,可以帮助你找出mysqld内部发生的事情: 日志文件记入文件中的信息类型错误日志记录启动、运行或停止时出现的问题。查询日志记录建立的客户端连接和执行的语句。二进制日志记录所有更改数据的语句。主要用于复制和即时点恢复。慢日志记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询。事务日志记录InnoDB等支持事务的存储引擎执行事务时产生的日志。 默认情况下,所有日志创建于mysqld数据目录中。通过刷新日志,你可以强制 mysqld来
小小科
2018/05/04
1.8K0
MySQL日志文件之二进制日志Binlog详解
数据库管理中不可或缺的重要工具,记录了数据库中的所有变更操作,为数据恢复、主从复制和审计等关键功能提供了基础
晚上不吃饭了
2025/05/01
4360
MySQL(3)——日志
    由于数据库的读量大于写量,所以当读锁源源不断时,写锁就不能施加。所以可能采用读5个,写1个的策略施加锁就可以解决问题(具体的情况视各自的"锁策略"而定)
py3study
2020/01/09
5920
MySQL(3)——日志
MySQL 这 6 个文件,90% 的人都没认全!
我们都知道 MySQL 是基于磁盘存储的数据库,因此其配置及数据肯定是存在磁盘中的。但 MySQL 到底有哪些相关的磁盘文件,它们的作用又是什么呢?相信不少人还不是很了解,今天我们就来介绍一下 MySQL 文件体系的六大文件。内容有点多,可以点赞收藏再看,方便下次查看哦!
码农编程进阶笔记
2022/08/18
5430
MySQL 这 6 个文件,90% 的人都没认全!
MySQL架构组成、物理文件组成
MySQL经过多年的改进和完善之后,已经基本具备了所有通用数据库管理系统所需要的相关功能。
L宝宝聊IT
2018/08/16
1.3K0
MySQL架构组成、物理文件组成
第17章_其他数据库日志
🧑个人简介:大家好,我是 shark-Gao,一个想要与大家共同进步的男人😉😉
程序员Leo
2023/08/07
2910
第17章_其他数据库日志
MySQL binlog_error_action分析
墨墨导读:MySQL生态中服务层的二进制日志有着非常重要的作用,MVCC机制不用的binlog,是否可以去掉?本文作者详述对MySQL的binlog cache的理解。
数据和云
2020/10/27
1.5K0
MySQL binlog_error_action分析
MySQL的存储引擎与日志说明
  类型:ext2 3 4 ,xfs 数据。 不管使用什么文件系统,数据内容不会变化,不同的是,存储空间、大小、速度。
惨绿少年
2019/05/24
1.2K0
linux系统MySQL主从同步--使用binlog日志方式
声明: 如果您有更好的技术与作者分享,或者商业合作; 请访问作者个人网站 http://www.esqabc.com/view/message.html 留言给作者。 如果该案例触犯您的专利,请在这里:http://www.esqabc.com/view/message.html 留言给作者说明原由, 作者一经查实,马上删除。
Mr.Vv
2019/10/15
1.7K0
1197多行事务要求更大的max_binlog_cache_size处理与优化
binlog_cache_size:为每个session 分配的内存,在事务过程中用来存储二进制日志的缓存,提高记录bin-log的效率。没有什么大事务,dml也不是很频繁的情况下可以设置小一点,如果事务大而且多,dml操作也频繁,则可以适当的调大一点。
星哥玩云
2022/08/17
3.5K0
MySQL二进制日志
sql_log_bin = {ON|OFF}   是否记录二进制日志。启用二进制记录日志,则这项必须是ON
保持热爱奔赴山海
2019/09/18
1.5K0
图文结合带你搞懂MySQL日志之Binary log(二进制日志)
binlog可以说是MySQL中比较重要的日志了,在日常开发及运维过程中,经常会遇到。
GreatSQL社区
2023/08/11
6K0
图文结合带你搞懂MySQL日志之Binary log(二进制日志)
Mysql各种日志binlog、redolog、undolog——Mysql系列(二)
https://segmentfault.com/a/1190000041758784
翰墨飘香
2023/06/11
7.5K0
mysql优化之日志配置
如果你选mysql数据库作为数据持久化的工具,那么就需要一个合理的日志配置,这样有助于排错和数据备份及恢复!
老高的技术博客
2022/12/28
7410
mysql优化之日志配置
MySQL常见配置参数及命令
wait_timeout:客户端连接自动断开连接时间(默认值是28800s,8个小时),自动断开的操作是“Server层的连接器做的”,断开后需要重新连接;
向着百万年薪努力的小赵
2022/12/02
9160
相关推荐
MySQL二进制日志(binary log)总结
更多 >
领券
一站式MCP教程库,解锁AI应用新玩法
涵盖代码开发、场景应用、自动测试全流程,助你从零构建专属AI助手
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档