墨墨导读：本文记录一次大量删除导致MySQL慢查的分析，大家有没有遇到过这种问题？
对于千万级的表数据存储，删除大量记录后，表文件大小并没有随之变小。好奇怪，是什么原因导致的？不要着急，接下来，我们来深入剖析其中原因
使用delete删除的时候，MySQL并没有把数据文件删除，只会将已经删除的数据标记为删除，因此并不会彻底的释放空间。
在 MySQL 中使用 delete 语句删除数据之后，监控视图中可用的磁盘空间没有增加，磁盘使用率没有下降等等。
当慢查在执行的时候，大部分的都是表现在 Sending data 的状态，我们通过 profiling 去确认下慢查的时间分布：
原文：http://www.enmotech.com/web/detail/1/740/1.html
作为一个后端工程师，想必没有人没用过数据库，跟我一起复习一下MySQL吧，本文是我学习《MySQL实战45讲》的总结笔记的第六篇，总结了MySQL的InnoDB引擎相关的实践使用问题。
哈喽，我是狗哥。小伙伴都知道我最近换工作了，薪资、工作内容什么的都是我比较满意的。五月底也面试了有 6、7 家公司，应该拿了有 5 个 offer。这段时间也被问了很多面试题，我打算写一个专题分享出来，希望对你们有所帮助～
那么这里又有个新的问题了，如果在 InnoDB 下，多事务并发的情况下，如果事务A删除了 id=1 的数据，同时事务B又去读取 id=1 的数据，如果这条数据真的被删除了，那 MVCC 拿啥数据返回给用户呢？
在 InnoDB 中，你的 delete 操作，并不会真的把数据删除，mysql 实际上只是给删除的数据打了个标记，标记为删除，因此你使用 delete 删除表中的数据，表文件在磁盘上所占空间不会变小，我们这里暂且称之为假删除。
MVCC是Multi-Version Concurrency Control（多版本并发控制）的缩写。
假设现在我们有3个node，6个shard，则每个node上分配2个shard，此时最多容忍1台机器挂了，因为2台机器有4个shard，能存放下3个primary shard。此时如果我们进行水平扩容，将node变为6个，则每个node有1个shard，每个shard能使用的IO/CPU/Memory资源更多，性能会更好。 另外假设我们现在还是3个node，但是将shard变为9个，则每个node有3个shard，此时虽然每个shard使用的资源少了，但是容错性提高了，最多能容忍2个node故障，因为剩余的1个node还有3个shard，能包含所有数据。
最近有个上位机获取下位机上报数据的项目，由于上报频率比较频繁且数据量大，导致数据增长过快，磁盘占用多。
Tapdata Cloud 是国内首家异构数据实时同步云平台，目前支持 Oracle、MySQL、PG、SQL Server、MongoDB、ES 、达梦、Kafka、GP、MQ、ClickHouse、Hazelcast Cloud、ADB MySQL、ADB PostgreSQL、KunDB、TiDB、MariaDB、Aliyun MariaDB、Aliyun MongoDB、Aliyun RDS for SQLServer、Aliyun RDS for PG、Aliyun RDS for MySQL、TencentDB for MySQL、TencentDB for MariaDB、TencentDB for PG、TencentDB for SQLServer、TencentDB MongoDB、Vika、Apache Doris、PolarDB MySQL、轻流之间的数据同步，并对用户永久免费。
索引是应用程序设计和开发的一个重要方面。如果索引太多，应用的性能可能会受到影响；如果索引太少，对查询性能又会产生影响。
数据库读数据，批量插入到es里，id自定义用的数据库的主键值，批量插入后，没有报错，可是用cerebro看，大量文档的状态是deleted，数据库中的主键值百分百没有重复的，不知道为什么会这样？
首先明确一个概念，innodb表包含两部分,表结构定义和数据，Mysql8.0以前表结构定义存放在.frm为后缀的文件里，而Mysql8.0版本以后允许表结构定义放到系统数据表中，因为表结构定义占用的空间很小，因此我今天主要说是表数据，
经常会有同学来问我，我的数据库占用空间太大，我把一个最大的表删掉了一半的数据，怎么表文件的大小还是没变？
在复制表的同时，将对表的操作，写入日志文件，之后再将日志文件应用到复制文件上，实现复制表的时候，不阻塞其他对表的写入操作，因此称为Online DDL。
https://dev.mysql.com/doc/refman/5.7/en/innodb-improved-purge-scheduling.html
在数据库的日常维护中，索引的管理是一个关键部分。有时，为了优化查询性能，我们可能会尝试添加、删除或修改索引。但是，直接删除一个索引可能会导致某些查询的性能下降，甚至在某些情况下导致查询失败。为了避免这种情况，MySQL 8引入了隐藏索引的概念。
表面看，RC已满足事务所需的一切特征：支持中止（原子性），防止读取不完整的事务结果，并防止并发写的混乱。这点很关键！为我们的开发省去一大堆麻烦。
在MySQL中InnoDB属于存储引擎层，并以插件的形式集成在数据库中。从MySQL5.5.8开始，InnoDB成为其默认的存储引擎。InnoDB存储引擎支持事务、其设计目标主要是面向OLTP的应用，主要特点有：支持事务、行锁设计支持高并发、外键支持、自动崩溃恢复、聚簇索引的方式组织表结构等。
表数据单独存放成一个文件更容易管理，在我们执行drop table命令的时候，系统会直接删除这个文件，但如果是放在共享表空间中，即使表删掉空间也不会回收。
在 Docker 中，管理镜像（Images）是非常重要的，因为镜像是容器的基础。本文将介绍一些常用的 Docker 镜像管理命令，帮助你有效地管理和操作 Docker 镜像。
表数据既可以存在共享表空间里，也可以是单独的文件。这个行为是由参数 innodb_file_per_table 控制的：
搜索引擎在任何人的日常生活和工作中都承担着很重要的角色，说到搜索大家想到的最多可能就是百度，谷歌，必应等搜索引擎。
InnoDB包含两部分，即表结构定义和数据。 表数据既可以存储在共享表空间里，也可以存储在单独的文件中，innodb_file_per_table=OFF时，表数据在系统共享表空间，也就是跟数据字典放在一起。innodb_file_per_table=ON表示数据存储在单独的文件中。
突然听到运维说磁盘预发布环境磁盘空间不够，细查之下发现是由于某个表的数据太大导致的，但是查看了下数据库表发现，实际的表数据量只有60w条，很明显表哪里出问题了，一开始以为是犹豫表的设计不合理索引导致的数据量大，细看之下发现挺正常的。正在焦虑蹉跎的时候，有幸得到朋友圈大佬的指点，是死亡元组太多导致的只需要执行vacuum full清理死亡元组就好，查看了相关的博客稳定发现postgresql居然会保存mvcc多版本修改记录，简单理解就是，postgresql对你所做的修改和删除都会保存记录，不会清理释放空间。这让我顿时想到[Mysql的MVCC]，但是mysql的undo log也只记录执行操作的相反记录保留最新的记录，而redo log记录数据页的变更，但是大小是固定的，都可以通过配置参数配置固定大小。
最近这两天登陆服务器，发现用 wget 下载文件的时候提示“No space left on device”，而且连使用 tab 键进行补全时也会提示该错误。
mysqldump 是 Mysql 自带的逻辑备份工具。其备份原理是通过协议连接到 Mysql 数据库，将需要备份的数据查询出来转换成对应的 insert 语句。当需要还原这些数据时，只要执行这些 insert 语句，即可将对应的数据还原。
经常看到有人写关于锁的事情，但常常感觉给人一个感觉，数据库的ACID 是通过锁来控制的，实际上数据库的ACID 控制是复杂的，MVCC 就是一个对资源并发访问时的提高并发访问的有效的方法
使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。 ➤ 通过EXPLAIN，我们可以分析出以下结果：
’mysql慢查询优化 第一步：开启mysql慢查询日志，通过慢查询日志定位到执行较慢的SQL语句。 第二步：利用explain关键字可以模拟优化器执行SQL查询语句，来分析SQL查询语句。 第三步：通过查询的结果进行优化。
死锁，其实是一个很有意思也很有挑战的技术问题，大概每个DBA和部分开发同学都会在工作过程中遇见 。关于死锁我会持续写一个系列的案例分析，希望能够对想了解死锁的朋友有所帮助
ibd2sql是解析mysql 8.0的ibd文件, 并生成DDL和DML, 还支持解析出被删除的数据(当然也可以解析binlog来实现)
一个表单独存储为一个文件更容易管理，而且在你不需要这个表的时候，通过 drop table 命令，系统就会直接删除这个文件。而如果是放在共享表空间中，即使表删掉了，空间也是不会回收的。所以参数推荐为ON。
在 mysql 上执行了一句 drop database 半天没有完成，详细的慢查询日志如下，那当时MySQL 在做什么呢？
MySQL Test Run 简称MTR，是MySQL官方提供的自动化测试框架，执行脚本在发布路径的mysql-test目录下。
id如果相同，可以认为是一组，从上往下顺序执行；在所有组中，id值越大，优先级越高，越先执行
服务器硬件的性能瓶颈：top,free, iostat和vmstat来查看系统的性能状态
Docker是一种流行的容器化平台，它允许用户构建、分享和运行容器化的应用程序。在Docker中，镜像是构建和创建容器的基础。之前的文章我们介绍了docker安装还有docker镜像的拉取，本文将介绍一些常用的Docker镜像管理命令，帮助我们管理和操作Docker镜像。
我们在《Milvus在大规模向量检索场景下的数据管理》这篇文章说过，当向量数据不断地进入 Milvus 时，系统后台会持续地将插入缓冲区中的数据写入磁盘，形成很多小文件。我们称这些文件为数据段。大量零碎的数据段有两个明显缺点：
对事务隔离级别不熟悉的同学可以参考文章 【MySQL （三） | 五分钟搞清楚MySQL事务隔离级别】
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
