上一篇文章对InnoDB的行格式进行了解析，但是却把记录头信息抛到这里来讲，那么开始吧，注意本片需要有一点数据结构和算法基础，如果基础薄弱，请先确保自己会二分查找和链表再来食用
通过sql分组查询数据时，一般通过group by来完成，group by默认取相同的分组列(一列或者多列)中第一个数据。
上篇文章介绍了行溢出，表中最多创建65535个字节，而null值列表占用一个字节，变长字段长度列表占用两个字节，所以最长是65532个字节。而varchar(M)填写多少，要根据不同的字符集来规定，比如ascii一个字符是一个字节，gbk最大是2个字节，utf8最大是3个字节。数据也会溢出，数据溢出，则是会分成若干页存储，而compact行格式，真实数据列表会780左右字节，然后存页的地址值，方便查找剩余的真是数据。Mysql5.7后默认用dynamic行格式，而dynamic行格式在行溢出的情况下真实数据列表只存储页码地址值。Redundant则是会有压缩算法压缩页码分页，更节省空间。
前面我们已经剖析了mysql中InnoDB与MyISAM索引的数据结构，了解了B+树的设计思想、原理，并且介绍了B+树与Hash结构、平衡二叉树、AVL树、B树等的区别和实际应用场景。
其中Next key锁是Gap锁和Record锁的结合，他锁定的是一个范围，并且锁定记录本身。
上篇文章介绍了innoBD会有若干索引页,每个索引页的两个虚拟列，infimun最小虚拟行记录，supremun最大虚拟行记录，这两个存在innoDB的头部信息，里面还有delete_mark，next_record等。free space空间会给user records存储的数据申请，直到用完则会申请新的页。
对于 SQL 语句的执行来说，定位 B-TREE 索引中的一条记录，是个举足轻重的能力。
hello，小伙伴们下午好。俗话说的好，一时拖更一时爽，一直拖更一直爽。但是今天决定更一下啦。高能预警，为了还债，特地写了篇长文。
文章开头的面试场景不是我编出来的，兄弟们，刚毕业一两年面试的我就出现过这种问题。仅仅问你失效场景，只要准备过面试的人都能答出来。但是再往下问问，就不知道怎么答了。
在MySQL的limit中:limit 100,10MySQL会根据查询条件去存储引擎层找到前110条记录，然后在server层丢弃前100条记录取最后10条
从InnoDB存储引擎的逻辑结构看，所有数据都被逻辑地存放在一个空间内，称为表空间(tablespace)，而表空间由段（sengment）、区（extent）、页（page）组成。在一些文档中extend又称块（block）。
规则1：一般情况可以选择MyISAM存储引擎，如果需要事务支持必须使用InnoDB存储引擎。 注意：MyISAM存储引擎 B-tree索引有一个很大的限制：参与一个索引的所有字段的长度之和不能超过10
上篇文章说了，mysql有character_Set_client,character_set_collection,character_Set_result来编码解码字符集。字符集有ascii、iso8859、gb2312、gbk、utf-8等。字符集和比较级的介绍。
通过上篇文章《MySQL的体系结构与SQL的执行流程》了解了SQL语句的执行流程以及MySQL体系结构中「连接器」、「SQL接口」、「解析器」、「优化器」、「执行器」的功能以及在整个流程中的作用。不过上篇文章留了个尾巴，在执行器调用存储引擎后，存储引擎内部做了什么事没有进一步说明，本文会对此展开介绍，使得我们对SQL整体的执行流程有更加清晰的认识。
众所周知，在mysql5以前，默认的存储引擎是：myslam。但mysql5之后，默认的存储引擎已经变成了：innodb，它是我们建表的首选存储引擎。
MySQL本身并没有对单表最大记录数进行限制，这个数值取决于你的操作系统对单个文件的限制本身。业界流传是500万行。超过500万行就要考虑分表分库了。
记录头信息里面有很多属性，最容易理解的就是next_record指针，单链表都会有next指针，这样才会找得到下一个结点，这对于页中的每条记录也是一样，上一条记录需要知道下一条记录在哪里。
上篇文章我们说了，索引页分为7个部分，其中free space会给user recoreds分配空间存储真实数据，直到用完申请新的页。查询拥有page directory，会分成不同的槽点，最小槽点有一个值，最大槽点有1~8个值，查询的时候用二分查找法定位id的槽点，然后遍历当前槽点就好。
项目中使用mysql作为数据存储，需要定期将库表中的数据按照给定格式生成报表。根据导出周期的不同分为：日报、周报、月报、季报、年报等格式。
一、功能特点 同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。 一个数据库类即可管理本地数据库通信，也支持远程数据库通信等。 数据库线程支持执行各种sql语句，包括单条和批量。 组件中的所有类打印信息、错误信息、执行结果都信号发出去。 集成数据库通用翻页类（负责具体处理逻辑），搭配分页导航控件（负责外观），形成超级牛逼的翻页控件。 集成数据库自动清理类，设定最大记录数后台自动清理早期数据。 集成自定义委托类，支持复选框、文本框、下
在InnoDB中，数据会存储到磁盘上，在真正处理数据时需要先将数据加载到内存，表中读取某些记录时，InnoDB存储引擎不需要一条一条的把记录从磁盘上读出来，InnoDB采取的方式是：将数据划分为若干个页，以页作为磁盘和内存之间交互的基本单位，InnoDB中页的大小一般为 16 KB，也就是说，当需要从磁盘中读数据时每一次最少将从磁盘中读取16KB的内容到内存中，每一次最少也会把内存中的16KB内容写到磁盘中。
众所周知，在mysql8以前，默认的存储引擎是：myslam。但mysql8之后，默认的存储引擎已经变成了：innodb，它是我们建表的首选存储引擎。
在现代数据库系统中，MySQL的InnoDB存储引擎通过精巧的数据结构设计和高效的索引算法，为海量数据提供了稳定、快速且持久化的存储服务。
上篇文章说了，mysql可以指定行格式，compact，dynamic，他结构有变长字段长度列表，null值，头部和真实数据存储，compact真实数据会存一定量的页，后面指向页的页码，dynamic全部存的页码，char会根据字符集来变换存储，行溢出是65535个字节，其中null值占一个，数据长度占两个，所以实际65532个字节，也会根据不同字节来变换。Index页存储这标记是否删除，删除的数据会组成垃圾链表，也叫可重用链表，而页里的数据，会根据next_Records来组成链表方便查询，二分查找法查找不同组的槽点。
文件的存储结构包含了系统大量的实现细节，比如 java 的 class 文件结构，rocksdb 的存储结构。MySQL InnoDB 的存储格式比较复杂，但确实我们理解 MySQL 技术内幕不必可少的一环。传统的分析的方法有下面这两个
(3) 索引列处于不同的位置对索引影响比较大。比如在WHERE子句中，对索引字段进行计算会造成索引失效。
Innodb存储引擎在读取一条数据的时候，是将数据记录从磁盘中取出来，然后在内存中进行处理的，当我们写入一条数据时，是将内存中的数据进行修改，然后再刷新到磁盘上，简称"数据落盘"。用一张图来表示就是：
同学, 还记得上一回说的回龙观大叔面试的故事嘛? 回龙观大叔狂磕mysql(第一回) 经过上一回合的学习, 这位大叔终于找回了点自信, 这次又投了几家公司, 不过现在还没有公司去联系他. 大叔的电脑桌
Mac电脑必备专业的数据库管理软件Valentina Studio Pro Mac激活版分享给大家，Valentina Studio Pro 支持连接所有主要数据库，可以帮助用户轻松创建、管理、查询和浏览Valentina DB、MySQL、MariaDB、PostgreSQL和SQLite数据库
不管是啥业务，最终数据都要落地，数据库这一环是肯定少不了的。随着业务发展，并发越来越高，数据库很容易成为整个链路的短板。这也是大厂面试中比较常被问到的。而调优的第一步，都是从sql语句、索引入手。先得保证单个数据库执行没问题，才会有更高层次的分库分表、弹性、容灾等等。
打开知行之桥 EDI 系统，在工作流界面右侧可以看到端口选项卡下有众多端口，我们打开数据库分类，可以看到知行之桥 EDI 系统中支持的数据库端口如下：
要粗略的理解这一点很简单，知道覆盖索引即可（字面意思）。 要稍微全面点的了解的话，建议了解一下“回表查询”和“覆盖索引”，我一会儿去写一篇。
Mysql索引的实现是在存储引擎层完成的，因此本文所讲内容是以Innodb存储引擎为基础展开的，核心是讲清楚Innodb的数据存储结构。
我的博客： https://www.luozhiyun.com/archives/273
上篇文章介绍了InnoDB的compact列类型，存储数据分为真实数据，和额外信息，而额外信息分为变长字段长度列表，null值列表，记录头信息，而变长字段长度列表是要记录varchar，text等长文本，char这种则不存储，当数据为null也不存储，ascii的字节长度为1，乘以varchar(m)的最长字符创长度，1*M若小于255，则用一个字节存储字段长度，若大于255，当真实数据长度小于127，则一个字节存储，大于则两个字节存储最长字段长度。
前面我们说了innoDB有很多页类型，主要介绍了index索引页，包含七个主要部分。File header里有效验和和file_page_prev和file_page_next吧所有的页联系起来，组成双向链表。Page header里有当前页的槽点和记录数，还有next record来吧每个数据连接起来，组成单链表。查询的时候有page directory。File trailer里的效验和能检验数据是否完成。如果上面说的这些你都不明白，建议吧前面的文章再看一看，接下来的知识不适合你。什么？前面内容太多，太生涩看不懂？好的，等我！
招商银行前行长马蔚华推荐：“涂子沛先生的《数据之巅》通过追溯梳理美国的数据历史、展望人类的数据未来 ，给中国社会提出了一个数据时代的新命题——如何构建数据文化？本书引人入胜、发人深思，是不可不读的好书。”。 节标题"世上本没有数：正解大数据" 传统意义上的“数据”，是指“有根据的数字”，数字之所以产生，是因为人类在实践中发现，仅仅用语言、文字和图形来描述这个世界是不精确的，也是远远不够的。例如，有人问“姚明有多高”，如果回答说“很高”、“非常高”、“最高”，别人听了，只能得到一个抽象的印象，因为每个人对“
这是一个关于 pandas 从基础到进阶的练习题系列，来源于 github 上的 guipsamora/pandas_exercises 。这个项目从基础到进阶，可以检验你有多么了解 pandas。
前文已经描述过MySQL的多种优化措施，如：回表的优化、索引合并的优化、连接的优化等
> 经常听别人说 Python 在数据领域有多厉害，结果学了很长时间，连数据处理都麻烦得要死。后来才发现，原来不是 Python 数据处理厉害，而是他有数据分析神器—— pandas
之前我们给大家介绍过MySQL子查询与多表联合查询 MySQL子查询的基本使用方法（四）、关于MySQL多表联合查询，你真的会用吗？、关于MySQL内连接与外连接用法，全都在这里了！本节课我们想讲讲多表联查询与子查询的区别与联系。
周末没啥计划，把大佬的<MySQL是怎样运行的>又翻了出来，重新学习一下页的概念。
排序是计算机内经常进行的一种操作，其目的是将一组“无序”的记录序列调整为“有序”的记录序列。分内部排序和外部排序，若整个排序过程不需要访问外存便能完成，则称此类排序问题为内部排序。反之，若参加排序的记录数量很大，整个序列的排序过程不可能在内存中完成，则称此类排序问题为外部排序。内部排序的过程是一个逐步扩大记录的有序序列长度的过程。
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
连接到数据库，负责跟客户端建立连接、获取权限、维持和管理连接，命令通常是mysql -h$ip -P$port -u$user -p.
索引是一种数据结构。官方描述为：索引（Index）是帮助MySQL高效获取数据的数据结构。因此我们针对索引的使用和优化，本质上也是基于一种特殊的数据结构进行的优化。总结下innodb的索引特点：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
