最近，又遇到了慢 SQL，简单的看了下，又是因为 MySQL 本身优化器还有查询计划估计不准的问题。SQL 如下：
在MySQL8.0以前，通常会通过infomation_schema的表来获取一些元数据，例如从tables表中获取表的下一个auto_increment值，从indexes表获取索引的相关信息等。
我们在主从复制中最常遇到我的问题就是复制延迟的问题，那究竟复制延迟是怎么计算的呢？
MySQL的査询优化器会通过两个API来了解存储引擎的索引值的分布信息,以决定如何使用索引。第一个API是 records_in_range()，通过向存储引擎传入两个边界值获取在这个范围大概有多少条记录。对于某些存储引擎，该接口返回精确值，例如MyISAM；但对于另一些存储引擎则是一个估算值，例如 InnoDB。 第二个API是info()，该接口返回各种类型的数据，包括索引的基数(每个键值有多少条记录)。 如果存储引擎向优化器提供的扫描行数信息是不准确的数据，或者执行计划本身太复杂以致无法准确地获取各个阶段匹配的行数，那么优化器会使用索引统计信息来估算扫描行数。 MySQL优化器使用的是基于成本的模型，而衡量成本的主要指标就是一个查询需要扫描多少行。如果表没有统计信息，或者统计信息不准确，优化器就很有可能做出错误的决定。可以通过运行ANALYZE TABLE来重新生成统计信息解决这个问题。 每种存储引擎实现索引统计信息的方式不同，所以需要进行ANALYZE TABLE的频率也因不同的引擎而不同，每次运行的成本也不同：
在做自动化运维开发过程中，需要从information_schema.tables获取MySQL表相关的元信息，发现MySQL8.0和5.7存在的差异还是比较大的；在MySQL8.0以前，通常会通过infomation_schema的表来获取一些元数据，例如从tables表中获取表的下一个auto_increment值，从indexes表获取索引的相关信息等。
最近在极客时间看丁奇大佬的《MySQL45讲》，真心觉得讲的不错，把其中获得的一些MySQL方向的经验整理整理分享给大家，有兴趣同学可以购买相关课程进行学习。
我们知道在MySQL中有3种类型可以表示实数，分别是float,double和decimal。关于如何合理得使用这三种类型，网上的答案也层出不穷。但是究竟该选择哪一种类型，好像并没有统一的答案，接下来，将通过一个例子来说明什么情况下选择float，什么情况下选择double，什么情况下选择decimal。相信对这个例子的剖析之后，你就会明白什么时候用什么样的类型
•大家之前了解到的这个计算方式可能是从库 I/O 线程读取的主库 binlog event 时间戳与 SQL 线程正在执行的 binlog event 的时间戳之间的时间差
这是因为即使是在同一个时刻的多个查询，由于多版本并发控制（MVCC）的原因，InnoDB 表“应该返回多少行”也是不确定的。这里，用一个算 count(*) 的例子来为你解释一下。
schema就是数据库对象的集合，这个集合包含了各种对象如：表、视图、存储过程、索引等。为了区分不同的集合，就需要给不同的集合起不同的名字，默认情况下一个用户对应一个集合，用户的schema名等于用户名，并作为该用户缺省schema。所以schema集合看上去像用户名。
问题如标题所示，在开发过程的时候，需要创建一张表，从另一个环境导出的表结构sql文件，在我电脑上导入，遇到该报错
日常开发中,获取数据的总数是很常见的业务场景,但是我们发现随着数据的增长count(*)越来越慢，这个是为什么呢，
MySQL执行SQL会经过SQL解析和查询优化的过程，解析器将SQL分解成数据结构并传递到后续步骤，查询优化器发现执行SQL查询的最佳方案、生成执行计划。查询优化器决定SQL如何执行，依赖于数据库的统计信息，下面我们介绍MySQL 5.7中innodb统计信息的相关内容。
前面我们介绍过索引，你已经知道了在 MySQL 中一张表其实是可以支持多个索引的。但是，你写 SQL 语句的时候，并没有主动指定使用哪个索引。也就是说，使用哪个索引是由 MySQL 来确定的。
大致上大部分的数据库都有统计分析，主要的作用就是在语句执行的情况下，能尽量的选择相对正确的方式来走执行计划，越准确的统计分析，可以带来更好的执行计划和数据库的语句执行性能，但相对来说越准确的统计分析，也会带来系统在统计时的性能消耗，越大的数据库系统，对统计分析的需求和要求也就越高。
在进行慢SQL分析的时候，有时候我们会发现explain的扫描行数和慢日志中的行数相差很大，那explain中的rows这个扫描行数是怎么判断的？
有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。 订单实时统计的演进 第一版：流程走通 在使用storm之前，显示实时统计数据一般有两种方案： 在数据库里执行count、sum等聚合查询，是简单快速的实现方案，但容易出现慢查询。 在业务代码里对统计指标做累加，可以满足指标的快速查
本文是在假定读者了解了直方图是什么，直方图如何进行添加维护的前提下，围绕直方图与索引的对比、何时应该添加直方图，及直方图如何帮助优化器选择更优的执行计划这几个方面来介绍直方图。 对直方图不太了解的小伙伴可参考GreatSQL社区的另一篇文章 4.直方图介绍和使用|MySQL索引学习
非持久化统计信息的缺点显而易见，数据库重启后如果大量表开始更新统计信息，会对实例造成很大影响，所以目前都会使用持久化统计信息。 2、持久化统计信息在以下情况会被自动更新：
https://blog.csdn.net/sinat_39620217/article/details/134011021
这个时区要设置好，不然会出现时差， 如果你设置serverTimezone=UTC，连接不报错， 但是我们在用java代码插入到数据库时间的时候却出现了问题。 比如在java代码里面插入的时间为：2021-06-24 17:29:56 但是在数据库里面显示的时间却为：2021-06-24 09:29:56 有了8个小时的时差 UTC代表的是全球标准时间 ，但是我们使用的时间是北京时区也就是东八区，领先UTC八个小时。
查看系统时间 [root@localhost ~]# date Tue Jun 13 10:20:13 CST 2017 查看硬件时间 [root@localhost ~]# hwclock --show Tue 13 Jun 2017 02:11:12 AM CST -0.848845 seconds 可以看出系统时间比硬件时间快，系统时间是准确的 假如系统时间和硬件时间都不准确 更新系统年月日 [root@localhost ~]# timedatectl set-time 2018-05-31 更新
陈少伟，携程度假研发部资深开发工程师，主要负责度假起价引擎的研发工作，喜欢钻研技术，对新技术有浓厚的兴趣。
哈喽，我是狗哥。小伙伴都知道我最近换工作了，薪资、工作内容什么的都是我比较满意的。五月底也面试了有 6、7 家公司，应该拿了有 5 个 offer。这段时间也被问了很多面试题，我打算写一个专题分享出来，希望对你们有所帮助～
MySQL会在某些情况下选择错误索引导致查询性能下降。例如不断地删除历史数据和新增数据的场景。
在有赞大数据平台发展初期，业务量不大，开发者对业务完全熟悉，从 ETL 到统计分析都可以轻松搞定，当时没有想过要做一个元数据系统。
作者：matrix 被围观: 224 次 发布时间：2021-12-28 分类：mysql PHP | 无评论 »
不管是Oracle还是MySQL，新版本推出的新特性，一方面给产品带来功能、性能、用户体验等方面的提升，另一方面也可能会带来一些问题，如代码bug、客户使用方法不正确引发问题等等。
统计信息的作用 上周同事在客户现场遇到了由于统计信息的原因，导致应用数据迁移时间过慢，整个迁移差点失败。关键时刻同事发现测试环境与生产环境SQL语句执行计划不一致，立刻收集统计信息才保证迁移得以正常完成。 统计信息对于SQL的执行时间有重要的影响，统计信息的不准确会导致SQL的执行计划不准确，从而致使SQL执行时间变慢，Oracle DBA非常了解统计信息的收集规则，同样在MySQL中也有相关的参数去控制统计信息。 相关参数 innodb_stats_auto_recalc 控制innodb是否自动收集统
MySQL中的索引可以使用多种数据结构实现,包括B+树、哈希表、红黑树等。本文将对几种常见的数据结构进行对比分析。
存储引擎决定了表的类型，而表内存放的数据也要有不同的类型，每种数据类型都有自己的宽度，但宽度是可选的
一 介绍 存储引擎决定了表的类型，而表内存放的数据也要有不同的类型，每种数据类型都有自己的宽度，但宽度是可选的 详细参考： http://www.runoob.com/mysql/mysql-data-types.html http://dev.mysql.com/doc/refman/5.7/en/data-type-overview.html mysql常用数据类型概览 #1. 数字： 整型：tinyinit int bigint 小数： float ：在位数比较短的
关于pypy这个东西，搞python有段时间的人应该都知道，我博客之前也写过两篇pypy的文章,有兴趣的可以看看：
---- 文章来源：https://c1n.cn/tEsnA 前言 在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多 SQL 语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的 SQL 就是整个系统性能的瓶颈。 SQL 优化一般步骤 | 通过慢查日志等定位那些执行效率较低的 SQL 语句 | explain 分析SQL的执行计划 需要重点关注 type、rows、filtered、extra。 type 由上至下，效率越来越高： ALL 全表扫描
虽然上至下，效率越来越高，但是根据cost模型，假设有两个索引idx1(a, b, c),idx2(a, c)，SQL为select * from t where a = 1 and b in (1, 2) order by c;如果走idx1，那么是type为range，如果走idx2，那么type是ref；当需要扫描的行数，使用idx2大约是idx1的5倍以上时，会用idx1，否则会用idx2
在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多 SQL 语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的 SQL 就是整个系统性能的瓶颈。
4). 数仓架构分层：一般分为操作数据层（ODS）、公共维度模型层（CDM）和应用数据层（ADS）,其中公共维度模型层包括明细数据层（DWD和汇总数据层（DWS）
墨墨导读：MySQL 8.0 新功能直方图，继承于Oracle ，MairaDB的实现方式。本文从MySQL角度解释，直方图是什么。
一个客户的性能优化案例: 没有修改数据库实例的任何配置参数以及业务代码没有变更的情况下，一条 sql 出现大幅性能下降。
最近某篇关于mysql 由于部分网络问题，造成的性能急速下降的文字（英文）挺火的，看了看实验并不是太难，这里就按照那篇文字来做一下，顺便验证一下此篇文字的真实性和普遍性。
一般现在对于业务要查询的数据量以及要保持的并发量高于一定配置的单实例 MySQL 的极限的情况，都会采取分库分表的方案解决。当然，现在也有很多 new SQL 的分布式数据库的解决方案，如果你用的是 MySQL，那么你可以考虑 TiDB（实现了 MySQL 协议，兼容 MySQL 客户端以及 SQL 语句）。如果你用的是的 PgSQL，那么你可以考虑使用 YugaByteDB（实现了 PgSQL 协议，兼容 PgSQL 客户端以及 SQL 语句），他们目前都有自己的云部署解决方案，你可以试试：
在开发系统的时候，你可能经常需要计算一个表的行数，比如一个交易系统的所有变更记录总数。这时候你可能会想，一条 select count(*) from t 语句不就解决了吗？
表(TABLE) 是一种结构化的文件，可用来存储某种特定类型的数据。表中的一条记录有对应的标题，标题 称之为 表的字段。
哈喽，小伙伴们好呀，我是狗哥。我们在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多 SQL 语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的 SQL 就是整个系统性能的瓶颈。
这篇文章是我准备用Java写一个RestAPI的时候，学习Spring boot用的。在看这篇文章的时候，我具备了用Python的Flask 和Golang 的beego 写应用的基础，并对MVC模式有很大的了解，同时，我也具有了Java的基础知识（虽然，仅仅是看了Java的基础书籍。）。所以，如果你并不具备以上的条件，你可能会有些看不懂。不过，我会尽量在翻译的时候夹带一些私货，以便能够让大家尽量能看懂。当然由于水平有限，翻译有可能不准确，请小伙伴们见谅，也请小伙伴们不吝斧正。另外，对于Java的又臭又长深有体会（毕竟作为Pythoner,Goer和半个swifter 更喜欢那些简洁的表达。由于想写Android应用，以及用Java编写后台应用的一条龙服务。当年还想用swift写后台应用，太天真了！Swift到现在写的还不如OC的性能，而且还大很多。）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
