线上有个定时任务，这个任务需要查询一个表几天范围内的一些数据做一些处理，每隔十分钟执行一次，直至成功。
前面我写了很多Mysql相关的知识点，到这一篇稍微可以串一下了，从SQL执行流程、MVCC到锁，很多时候可能觉得对于间隙锁和Next-Key Lock好像已经理解了，但是好像又觉得理解差那么一点意思，这篇文章从头来梳理一下概念，明确一下这些知识。
我们的表经常使用的MyISAM、InnoDB存储引擎都是将数据和索引都存储到磁盘上的，当查询表中的记录时，需要先把数据或者索引加载到内存中，然后再进行操作。这个从磁盘到内存的加载过程损耗的时间称为I/O成本。
你想知道用户在你的 app 上的访问时长情况。 因此决定统计访问时长区间分别为 "[0-5>", "[5-10>", "[10-15>" 和 "15 or more" （单位：分钟）的会话数量，并以此绘制柱状图。
在业务离线数据分析场景下，往往需要将Mysql中的数据先导出到分布式存储中，如Hive、Iceburg。这个功能实现的方式有很多，但每种方式都会遇到一些问题（包括阿里开源的DataX）。本文就介绍下这个功能的优化之路，并最终给出一个笔者实现的终极方案。
上篇文章回忆了innodDB的独立表空间和系统表空间的结构，因为需要梳理的知识点太多，所以额外用一篇。
小麦同学是个吃货+技术宅，平日里就喜欢拿着手机地图点点按按来查询一些好玩的东西。某一天到北海公园游玩，肚肚饿了，于是乎打开手机地图，搜索北海公园附近的餐馆，并选了其中一家用餐。
该系统由《Kafka并不难学！入门、进阶、商业实战》的作者 smartloli 开发维护，很牛掰的一位大佬。参考官网：Kafka Eagle
去重： 在需要去重的字段前加上 distinct 例如：test表中有多个相同数据字段名为：tt
电商中：我们想查看某个用户所有的订单，或者想查看某个用户在某个时间段内所有的订单，此时我们需要对订单表数据进行筛选，按照用户、时间进行过滤，得到我们期望的结果。
注意关键字where，where后面跟上一个或者多个条件，条件是对前面数据的过滤，只有满足where后面条件的数据才会被返回。
当你执行一次MySQL查询时，有没有仔细想过，在查询结果返回之前，经过了哪些步骤呢？这些步骤有可能消耗了超出想象的时间和资源。因此，在对MySQL的查询进行优化之前，应该了解一下MySQL查询的生命周期。
在数据库中，索引可以理解为是一种单独的，物理的对数据库表中的一列或者多列的值进行排序的一种存储结构。它的作用是能让我们快速检索到想要的数据，好比字典的目录，通过目录的页码能快速找到我们想查找的内容。
首先我们要了解mysql查询优化器的执行效率，大约有10个，重点几个主要就是const，ref，range ，index，all。Const效率是最块的，成本可以忽略不计，主要通过主键或者唯一值查询的sql。还有比const更快的system，这种时候必须是mysql优化器内部精确计算查询成本，所以system不适用于innoDB，只适用于myISAM。Ref代表用的是索引b+tree查询的时候，比如用连接查询的时候，连接查询的条件是索引唯一值，这时候还分为eq-ref，er-ef是当被驱动表查询的是主键或者唯一二级索引的时候，这时候就是显示eq-ref。当连接表的条件是普通索引查询的时候，这时候显示就是ref，range顾名思义就是索引区间查询的时候，index代表查询覆盖索引的时候，all就是放弃索引全盘扫描了。
导语：SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件，支持对接适配多类外部开源SQL执行引擎，如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件，满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件，实现以下三点的价值： 解决业务数据孤岛，最大化数据的使用价值 执行引擎最优选择，提升业务使用数据效率 优化
导语：SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件，支持对接适配多类外部开源SQL执行引擎，如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件，满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件，实现以下三点的价值： 解决业务数据孤岛，最大化数据的使用价值 执行引擎最优选择，提升业务使用数据效率
俗话说工欲善其事，必先利其器，定期对你的MYSQL数据库进行一个体检，是保证数据库安全运行的重要手段。
对于正在运行的mysql，性能如何，参数设置的是否合理，账号设置的是否存在安全隐患，你是否了然于胸呢？
你对于正在运行的mysql 性能如何？参数设置的是否合理？账号设置的是否存在安全隐患？是否了然于胸？
一、简介 数据库服务器需要CPU、内存、 磁盘和网络才能运行，了解这些资源对于DBA来说非常重要，因为任何的超载行为都可能成为限制因素，导致数据库服务器性能不佳。DBA的主要任务就是调整系统和数据库的配置，避免可用资源的过渡利用和利用不足。 首先，性能优化是一个持续的过程，安装MySQL通常是调整操作系统和数据库配置的第一步。而数据库是一个动态系统，这是一个永无止境的故事。你的MySQL数据库起初可能是CPU绑定的，因为你有足够的内存和很少的数据。随着时间地推移，它可能会改变，磁盘访问可能会变得更加频繁。正
对于正在运行的mysql 性能如何？参数设置的是否合理？账号设置的是否存在安全隐患？
Redis和MySQL都是非常流行的开源数据库，各自有其独特的用途和优点。Redis是一个基于内存的键值存储系统，适用于缓存和高速读取操作。而MySQL是一种关系型数据库管理系统，适用于数据存储和复杂查询操作。在某些情况下，将两个数据库集成在一起可以实现更强大的功能。
当数据量比较大，若SQL语句写的不合适，会导致SQL的执行效率低，我们需要等待很长时间才能拿到结果
在之前的一次开发需求中使用了 for update 实现悲观锁，最后导致出现了很多的 MySQL 死锁报警，现记录下死锁产生的原因。
缓存 show variables可以查看我们mysql的许多配置，我们查一些需要的参数可以使用类似于模糊匹配的方式如下：
对于正在运行的MySQL，性能如何，参数设置的是否合理，账号设置的是否存在安全隐患，你是否了然于胸呢？
MySQL官方对索引的定义为：索引（Index）是帮助MySQL 高效 获取数据的数据结构，而MYSQL使用的数据结构是：B+树
查询表达式支持大部分的SQL查询语法，也是ThinkPHP查询语言的精髓，查询表达式的使用格式：
锁是MySQL在服务器层和存储引擎层的并发控制，锁可以保证数据并发访问的一致性、有效性；
有人的地方就有江湖，数据库也是，sql优化这个问题，任重道远，我们总是禁不住有烂sql。怎么办呢，还好各大数据库都有相关烂sql的收集功能，而MySQL的慢查询收集也是异曲同工，配合分析sql的执行计划，这个优化就有了搞头了。
Prometheus 是一套开源的监控系统。设计思路来自于Google的borgmon 监控系统(由工作在 SoundCloud的Google 前员工在2012年创建)。
在二级索引idx_key1中，key1列是有序的，查找按key1列排序的第1条记录，MySQL只需要从idx_key1中获取到第一条二级索引记录，然后直接回表取得完整的记录即可，这个很容易理解。
mysql缓存机制就是缓存sql 文本及缓存结果，用KV形式保存再服务器内存中，如果运行相同的sql,服务器直接从缓存中去获取结果，不需要在再去解析、优化、执行sql。如果这个表修改了，那么使用这个表中的所有缓存将不再有效，查询缓存值得相关条目将被清空。表中得任何改变是值表中任何数据或者是结构的改变，包括insert,update,delete,truncate,alter table,drop table或者是drop database 包括那些映射到改变了的表的使用merge表的查询，显然，者对于频繁更新的表，查询缓存不合适，对于一些不变的数据且有大量相同sql查询的表，查询缓存会节省很大的性能。
Solarwinds的数据库性能分析器是一种用于监控，分析和调整数据库和SQL查询性能的高级工具。其突出的特点包括：
需要注意的是，查询的执行顺序可能会因查询的复杂性、索引的存在与否、表的大小以及其他因素而有所不同。MySQL的查询优化器会尽力选择最佳的执行计划，以提高查询性能。同时，可以使用EXPLAIN语句来查看MySQL执行查询时选择的执行计划，以帮助调优查询性能。
在MySQL中，执行计划是优化器根据查询语句生成的一种重要的数据结构，它描述了如何通过组合底层操作实现查询的逻辑。当我们编写一条SQL语句时，MySQL会自动对其进行优化，并生成最优的执行计划以实现更快的查询速度。
以上案例用到的处理器有“QueryDatabaseTable”、“ConvertAvroToJSON”、“SplitJson”、“PutHDFS”四个处理器。
慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中. 慢查询主要是为了我们做sql语句的优化功能.
在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。
慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中.
昨天遇到一个问题, 200万的表里查询9万条数据, 耗时达63秒. 200万数据不算多, 查询9万也还好. 怎么用了这么长的时间呢? 问题是一句非常简单的sql. select * from tk_t
选择：MyISAM相对简单，所以在效率上要优于InnoDB。如果系统插入和查询操作多，不需要事务和外键，选择MyISAM，如果需要频繁的更新、删除操作，或者需要事务、外键、行级锁的时候，选择InnoDB。
某个复杂查询虽然前端YearningSQL的窗口关闭了，但实际SQL已经下发到数据库层去执行了，这种任然会对MySQL造成过大的压力。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
