MySQL general_log日志抓取业务SQL语句
原创MySQL general_log日志抓取业务SQL语句
原创
Power
发布于 2025-02-28 21:32:01
发布于 2025-02-28 21:32:01
代码可运行
运行总次数：0
代码可运行
一、基本介绍
业务生产环境中，我们经常会遇到一些比较棘手的异常问题，比如，DB频发crash却无法定位到原因；业务库QPS或IO吞吐非常高，但是业务量并未有增长等等情况，今天我将借助general_log日志抓取mysqldump的执行过程，来向大家介绍一下general_log功能的用法。
友情提示：开启general_log会记录MySQL数据库执行的所有SQL语句，会额外增加数据库的性能消耗。对于比较空闲的数据库影响不大，但针对比较繁忙的、IO吞吐量比较大的数据库来说，可能会感知比较明显。请根据业务容忍度，谨慎评估，开启时机和开启时长。
官网地址：https://dev.mysql.com/doc/refman/5.7/en/query-log.html
二、实验操作
2.1 配置general_log
#（1）开启general_log
mysql> set global general_log=on;
mysql> show variables like '%general%';
+------------------+----------------------------+
| Variable_name | Value |
+------------------+----------------------------+
| general_log | ON |
| general_log_file | /data/mysql/log/mysqld.log |
+------------------+----------------------------+
2 rows in set (0.01 sec)
#（2）设置general_log存储格式为FILE
mysql> set global log_output=file;
Query OK, 0 rows affected (0.01 sec)
mysql> show variables like 'log_output';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_output | FILE |
+---------------+-------+
1 row in set (0.01 sec)注：general_log和slow_log一样，支持两种存储模式，TABLE和FILE，这里我为了方便vim编辑/过滤和查看，就使用了File模式。
2.2 抓取mysqldump在从库备份时的参数特性
官网介绍：https://dev.mysql.com/doc/refman/5.7/en/mysqldump.html#option_mysqldump_dump-slave
- 注1：根据mysqldump的特性，mysqldump在从库备份时，加入了--dump-slave的参数，这个参数会在备份过程中自动断开sql_thread，这个时候从库是没有新的数据写入的（主库过来的事务无法被写入）
- 注2：该参数用于在从服务器导出dmp文件的同时，记录主服务器的二进制文件及位置，便于执行时间点恢复操作。
#（1）执行备份操作
[root@blogs-v2 ~]# mysqldump -uroot -h192.168.0.24 -pUcloudcn --single-transaction --dump-slave=2 --databases starcto > starcto.sql
#（2）查看备份期间general_log日志输出
[root@192-168-0-103 ~]# vim /data/mysql/log/mysqld.log
2022-08-08T11:38:42.753759+08:00 1363 Connect root@10.25.25.25 on using TCP/IP
2022-08-08T11:38:42.753922+08:00 1363 Query /*!40100 SET @@SQL_MODE='' */
2022-08-08T11:38:42.754984+08:00 1363 Query SHOW VARIABLES LIKE 'gtid\_mode'
2022-08-08T11:38:42.756997+08:00 1363 Query SELECT @@GLOBAL.GTID_EXECUTED
2022-08-08T11:38:42.757109+08:00 1363 Query SHOW SLAVE STATUS
2022-08-08T11:38:42.757249+08:00 1363 Query UNLOCK TABLES
2022-08-08T11:38:42.757384+08:00 1363 Query SELECT LOGFILE_GROUP_NAME, FILE_NAME, TOTAL_EXTENTS, INITIAL_SIZE, ENGINE, EXTRA FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = 'UNDO LOG' AND FILE_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IS NOT NULL AND LOGFILE_GROUP_NAME IN (SELECT DISTINCT LOGFILE_GROUP_NAME FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = 'DATAFILE' AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN ('starcto'))) GROUP BY LOGFILE_GROUP_NAME, FILE_NAME, ENGINE, TOTAL_EXTENTS, INITIAL_SIZE ORDER BY LOGFILE_GROUP_NAME
2022-08-08T11:38:42.758173+08:00 1363 Query SELECT DISTINCT TABLESPACE_NAME, FILE_NAME, LOGFILE_GROUP_NAME, EXTENT_SIZE, INITIAL_SIZE, ENGINE FROM INFORMATION_SCHEMA.FILES WHERE FILE_TYPE = 'DATAFILE' AND TABLESPACE_NAME IN (SELECT DISTINCT TABLESPACE_NAME FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_SCHEMA IN ('starcto')) ORDER BY TABLESPACE_NAME, LOGFILE_GROUP_NAME
2022-08-08T11:38:42.758651+08:00 1363 Query SHOW VARIABLES LIKE 'ndbinfo\_version'
2022-08-08T11:38:42.760160+08:00 1363 Init DB starcto
2022-08-08T11:38:42.760252+08:00 1363 Query SHOW CREATE DATABASE IF NOT EXISTS `starcto`
2022-08-08T11:38:42.760345+08:00 1363 Query SAVEPOINT sp
2022-08-08T11:38:42.760429+08:00 1363 Query show tables
2022-08-08T11:38:42.760570+08:00 1363 Query show table status like 'account'
2022-08-08T11:38:42.760768+08:00 1363 Query SET SQL_QUOTE_SHOW_CREATE=1
2022-08-08T11:38:42.760863+08:00 1363 Query SET SESSION character_set_results = 'binary'
2022-08-08T11:38:42.760953+08:00 1363 Query show create table `account`
2022-08-08T11:38:42.761057+08:00 1363 Query SET SESSION character_set_results = 'utf8'
2022-08-08T11:38:42.761147+08:00 1363 Query show fields from `account`
2022-08-08T11:38:42.761373+08:00 1363 Query show fields from `account`
2022-08-08T11:38:42.761597+08:00 1363 Query SELECT /*!40001 SQL_NO_CACHE */ * FROM `account`
2022-08-08T11:38:42.761778+08:00 1363 Query SET SESSION character_set_results = 'binary'
2022-08-08T11:38:42.761865+08:00 1363 Query use `starcto`
2022-08-08T11:38:42.761951+08:00 1363 Query select @@collation_database
2022-08-08T11:38:42.762045+08:00 1363 Query SHOW TRIGGERS LIKE 'account'
2022-08-08T11:38:42.762278+08:00 1363 Query SET SESSION character_set_results = 'utf8'
2022-08-08T11:38:42.762363+08:00 1363 Query ROLLBACK TO SAVEPOINT sp
2022-08-08T11:38:42.762452+08:00 1363 Query RELEASE SAVEPOINT sp
2022-08-08T11:38:42.762535+08:00 1363 Query SHOW SLAVE STATUS
2022-08-08T11:38:42.762665+08:00 1363 Query START SLAVE
2022-08-08T11:38:42.763592+08:00 1363 Quit原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
腾讯云开发者
