前几天，有位客户提了一个慢查询问题，需要这边帮忙分析一下；整个排查过程还是非常有趣，涉及到一些值得关注的知识点，因此在这里记录一下。
某日，群友反馈问题对大表COUNT(*)很慢，但却不会记录到slow log中，这是为什么呢？ 我自己根据他提供的信息，复现了这个问题：
Mysql slow log提供了一种方式对数据库中慢查询进行记录并且对日志进行输出，以便于我们定位服务器性能问题。我们可能会简单的把它理解为记录所有执行时间超过long_query_time的查询，其实这仅仅是其中一个条件。下面我们从源码角度分析一下slow log的写入机制。
爱可生交付服务部南区团队 DBA，主要负责公司自动化运维平台 DMP 维护和数据库日常问题处理。
生产环境中 select count(*) from table 语句执行很慢，已经远超 long_query_time 参数定义的慢查询时间值，但是却没有记录到慢日志中。在测试环境也很容易复现出该问题，慢查询日志确实没有记录 select count(*) 语句。
0. 背景介绍1. 环境准备2. 导入数据3. 全文搜索测试4. 继续放弃治疗 0. 背景介绍
ELK最早是Elasticsearch（以下简称ES）、Logstash、Kibana三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为Elastic Stack，成为现在最流行的开源日志解决方案，虽然有了新名字但大家依然喜欢叫她ELK，现在所说的ELK就指的是基于这些开源软件构建的日志系统。
void THD::update_slow_query_status() { if (my_micro_time() > utime_after_lock + variables.long_query_time) server_status | = SERVER_QUERY_WAS_SLOW; } // my_micro_time() 获取当前系统时间点，单位为微妙 // utime_after_lock 为MDL LOCK和row lock等待时间后的时间点，单位为微妙 // variables.long_query_time 慢日志阈值long_query_time * 1000000 ，单位为微妙 // 等价于：my_micro_time() - utime_after_lock > variables.long_query_time // 不包含锁等待时间
* GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 当long_query_time=1时（表info的id为主键），出现下面的慢日志，可能会让你吃惊 # Time: 2024-01-28T22:52:24.500491+08:00 # User@Host: root[root] @ [127.0.0.1] Id: 8 # Query_time: 7.760787 Lock_time: 7.757456 Rows_sent: 0 Rows_examined: 0 use apple; SET timestamp=; delete from info where id < ;
本文主要介绍了MySQL中的慢查询日志以及如何使用MySQL的slow query log来分析性能问题，并给出了具体的例子和图例。
开发和DBA为了能够实时掌握mysql的运行情况，需要对mysql中执行的sql指令大于1秒的统计出来，并且通过ELK分析，统计，实时查看。通过分析可以让DBA能够优化数据库，能够提升运行速度。
MySQL的Performance Schema是一个非常好的监视工具，但是里面包含过多的表和探测项，对于普通的用户来说过于复杂，想弄清楚每一项的监测内容很困难，因此，MySQL提供了一套sys Schema，用于帮助DBA在典型的优化和诊断场景上快速使用Performance Schema。
logstash 可以处理各类日志，对于Apache和Nginx的访问日志，由于遵循统一标准，在 grok patterns 中已经有现成定义， 一条 COMBINEDAPACHELOG 就可以匹配
MYSQL性能分析最快的就是慢日志分析, 慢日志可以记录超过long_query_time的SQL, 也可以记录未使用索引的SQL(log_queries_not_using_indexes), 一般未使用索引的SQL会比较慢, 但也不是绝对的, 所以这个参数默认是OFF的.
在上一篇《统计信息查询视图|全方位认识 sys 系统库》中，我们介绍了利用sys 系统库的查询统计信息的快捷视图，本期将为大家介绍语句查询效率语句统计信息相关的视图，这些视图可以快速找出数据库中哪些语句使用了全表扫描、哪些语句使用了文件排序、哪些语句使用了临时表。
在MySQL数据库中，想了解数据库运行情况的重要指标之一是慢SQL。而并非如某些人所说的所有运行慢的SQL都会被记录在慢SQL日志（或日志表）里，抑或是没有慢SQL就代表没有运行慢的SQL。本文将总结一些比较常见的运行比较慢但不会被记录在慢SQL日志里的情况。另外，慢SQL的计算方式在MySQL8.0新版本中有变化，因此，将通过对比MySQL5.7（MySQL5.7.38）与MySQL8.0（MySQL8.0.33）进行总结。
说明： 1、# Time: 180526 1:06:54 -------查询的执行时间 2、# User@Host: root[root] @ localhost [] Id: 4 -------执行sql的主机信息 3、# Query_time: 0.000401 Lock_time: 0.000105 Rows_sent: 2 Rows_examined: 2-------SQL的执行信息：
join在MySQL 是一个如此重要的章节，毫不夸张的说，everything is a join。
查询：show variables like '%slow%'; 在线配置：set global slow_query_log=1; 配置文件：slow_query_log=1
前段时间客户反馈有 insert 慢，查看 slow.log ，发现确实慢，不光它慢，别的也慢；(客户只关注客户的重点，运维要全面的进行分析)。
mysql_random_data_load 是Percona贡献的工具，可以用于生成随机测试数据，非常方便。
在日常工作中，发现 MySQL 的状态不太对劲的时候，一般都会看看监控指标，很多时候会看到熟悉的一幕：CPU 使用率又爆了。本文会简单介绍一下 MySQL 和 CPU 之间的关系，对此有一些了解之后可以更准确的判断出问题的原因，也能够提前发现一些引发 CPU 问题的隐患。
文字版是： Based on the FPKM value of each gene, we classified the patients into two groups and examined
今天在测试一个线上功能的时候，发现了slowlog的一个特点，之前从来没遇到。这里分享一下。
慢查询日志主要用来记录在MySQL数据库中执行时间超过指定阈值时间的查询语句。通过慢查询日志查找出效率底下的SQL语句，并根据需要进行优化。慢查询日志是排查SQL语句性能问题的工具，如果非优化需求不建议开启，开启后会对数据库的性能带来一定影响。----1. 默认情况下慢查询日志关闭的，可以使用以下命令来查看慢查询日志的状态、位置及记录阈值。# 慢查询日志的状态和位置mysql> SHOW VARIABLES LIKE 'slow_query%';+---------------------+--------
爱可生交付服务部团队 DBA 擅长日志分析、问题排查等；主要负责处理 MySQL 与我司自研数据库自动化管理平台 DMP 的日常运维问题，对数据库及周边技术有浓厚的学习兴趣。
爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：https://www.jianshu.com/u/a95ec11f67a8，欢迎讨论。
由于没有安装pt-digest-query工具（不通外网有依赖装不了）就用mysql自带的mysqldumpslow分析
慢日志在日常数据库运维中经常会用到，我们可以通过查看慢日志来获得效率较差的 SQL ，然后可以进行 SQL 优化。本篇文章我们一起来学习下慢日志相关知识。
QAN（Query Analytics）慢查询日志分析工具是 PMM 的一部分，PMM 是 percona 公司提供的一个对于 MySQL 和 MongoDB 的监控和管理平台。官方给出的描述是：The QAN is a special dashboard which enables database administrators and application developers to analyze database queries over periods of time and find performance problems. QAN helps you optimize database performance by making sure that queries are executed as expected and within the shortest time possible. In case of problems, you can see which queries may be the cause and get detailed metrics for them。这是一个慢查询日志的展示工具，能够帮助 DBA 或者开发人员分析数据库的性能问题，给出全面的数据摆脱直接查看 slow-log。那么接下来，给大家介绍下 QAN 和其页面的指标吧。
同大多数关系型数据库一样，日志文件是MySQL数据库的重要组成部分。MySQL有几种不同的日志文件，通常包括错误日志文件，二进制日志，通用日志，慢查询日志，等等。这些日志可以帮助我们定位mysqld内部发生的事件，数据库性能故障，记录数据的变更历史，用户恢复数据库等等。本文主要描述通用查询日志。
该原文是Ayende Rahien大佬业余自己在使用C# 和 .NET构建一个简单、高性能兼容Redis协议的数据库的经历。首先这个"Redis"是非常简单的实现，但是他在优化这个简单"Redis"路程很有趣，也能给我们在从事性能优化工作时带来一些启示。由于接下来的两篇较短，本文一起把它们一起翻译原作者：Ayende Rahien 原链接：https://ayende.com/blog/197505-C/high-performance-net-building-a-redis-clone-separation-of-computation-i-o
logstash的流水线模型是 intpu|[filter]|output，其中 filter 部分为可选，但是处理mysql这种复杂的日志，没有filter，还真不行
output 是经过加工和处理后，事件日志的去向 Item Comment output { 框定出口的定义范围 elasticsearch { 定义了一个出口，使用 elasticsearch 插件来进行输出，将结果输出到ES中 hosts => ["localhost:9200"] 指定es的目标地址为 localhost:9200 index=>"mysql-slow-log-%{+YYYY.MM.dd}" 指定存到哪个index，如不指定，默认为logstash-%{+YYYY.MM.dd} std
发现在输入 # User@Host: 之前，所有的行都被进行压栈处理，输入此条信息后，前面的信息进行了一个完结，又重新等待新的输入，直到遇到又一个 # User@Host:
有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......
该原文是Ayende Rahien大佬业余自己在使用C# 和 .NET构建一个简单、高性能兼容Redis协议的数据库的经历。首先这个"Redis"是非常简单的实现，但是他在优化这个简单"Redis"路程很有趣，也能给我们在从事性能优化工作时带来一些启示。原作者：Ayende Rahien 原链接：https://ayende.com/blog/197665-C/high-performance-net-building-a-redis-clone-analysis-ii
Time：执行查询的日期时间 User@Host：执行查询的用户和客户端IP Id：是执行查询的线程Id Query_time：SQL执行所消耗的时间 Lock_time：执行查询对记录锁定的时间 Rows_sent：查询返回的行数 Rows_examined：为了返回查询的数据所读取的行数
大家都知道，slow query系统做的好不好，直接决定了解决slow query的效率问题
上次我们说到mysql的一些sql查询方面的优化，包括查看explain执行计划，分析索引等等。 今天我们分享一些 分析mysql表读写、索引等等操作的sql语句。
本文介绍了MySQL慢日志的作用、设置方法、查看方法以及相关的分析工具。慢日志是MySQL性能调优和诊断的重要工具，用于记录在MySQL中响应时间超过阈值的SQL语句。通过设置slow_query_log和long_query_time参数可以开启慢日志。使用mysqldumpslow、pt-query-digest等工具可以对慢日志进行分析。
a. 如果slow_query_log参数值为OFF则表示没开启，如果为ON则表示开启
使用performance_schema中的语句当前事件记录表和语句事件历史记录表可以查询数据库中最近执行的一些SQL语句，以及语句相关的信息，这里我们以events_statements_history表为例，查询结果按照语句完成时间倒序排序，如下：
锁表的原因： 当多个连接（数据库连接）同时对一个表的数据进行更新操作，那么速度将会越来越慢，持续一段时间后将出现数据表被锁的现象，从而影响到其它的查询及更新。 例如： 存储过程循环30次更新操作（cycore_file_id 为唯一标识）
ICP全称 Index Condition Pushdown，也就是常说的索引条件下推，在之前的一篇文章中介绍过它：explain 执行计划详解2--Extra
在上一篇《等待事件统计视图 | 全方位认识 sys 系统库》中，我们介绍了sys 系统库中的等待事件统计视图，本期的内容先给大家介绍会话信息和锁等待信息查询视图，通过这些视图我们可以清晰地知道每个会话正在做什么事情，是否存在锁等待。下面请跟随我们一起开始 sys 系统库的系统学习之旅吧～
Mysql慢查询解释 MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过long_query_time值的SQL，则会被记录到慢查询日志中。long_query_time的默认值为10，意思是运行10S以上的语句。默认情况下，Mysql数据库并不启动慢查询日志，需要我们手动来设置这个参数，当然，如果不是调优需要的话，一般不建议启动该参数，因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件，也支持将日志记录写入
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
