[ibd2sql] MYSQL ibd文件解析 (6) BLOB/TEXT 页如何存储在磁盘上的 -- FIL_PAGE_TYPE_LOB_FIRST

造数据

create table ibd2sql.t20240513_extrapage(id int, aa longblob);
insert into ibd2sql.t20240513_extrapage values(1,repeat('x', 1024*1024));

导读

虽然ibd2sql已经支持了 大字段(BLOB), 但还不支持溢出页(extra page), 也就是对大字段支持不完全. 是时候表演正在的技术了 是时候来完善大字段溢出页了.

我们知道, 如果 BLOB 字段太大, 是存储在 FIL_PAGE_TYPE_LOB_DATA 里面的. FIL_PAGE_INDEX 只存储20字节基础信息. 可以使用 ibd2sql --debug 来查看这20字节是的具体内容

python main.py /data/mysql_3314/mysqldata/ibd2sql/t20240513_extrapage.ibd --sql --debug

结构如下

>>> data = b'\x00\x00\x1e\xab\x00\x00\x00\x05\x00\x00\x00\x01\x00\x00\x00\x00\x00\x10\x00\x00'
>>> import struct
>>> struct.unpack('>3LQ',data)
(7851, 5, 1, 1048576)
>>> 

REAL_SIZE: The 2 highest bits are reserved to the flags below

于是我们可以得到, 我们这行数据有 1048576 B(1MB) 大小, 放在 7581表空间的 第5页(从0开始的异世界).

我们去数据库里面验证下.

也是对得上的.

大字段页

导读就导了半天, 现在开始来看BLOB页吧. 先不看ZLIB_BLOB的.

有3种PAGE (参考:https://dev.mysql.com/blog-archive/mysql-8-0-innodb-introduces-lob-index-for-faster-updates/), 我们一个个看.

FIL_PAGE_TYPE_LOB_FIRST

看名字就知道这是第一页, 也就是INDEX_PAGE里面那20字节种的PAGENO. 主要存储一些基础信息(BLOB_INDEX), 剩下的空间用来存BLOB数据. 结构如下: (不看FILE_TRAILER了) 参考: storage/innobase/include/lob0first.h

FLST_BASE_NODE_SIZE 这种结构, 之前讲过, 就是 4+6+6 也就是 记录

LEN, PRE_PAGENO,PRE_OFFSET NEXT_PAGENO, NEXT_OFFSET. 如果是0/4294967295就表示没得上/下节点了. 还是整个表吧..

再来看看这个 LOB_PAGE_DATA, 就是ENTRY, 每个60字节, 第一页10个constexpr static ulint node_count() {return (10);} 参考: storage/innobase/include/lob0index.h :: index_entry_t

这里面就是记录 实际的值了, 全部加起来就是这行数据这个字段的 值了. 直接上表:

ENTRY:

OFFSET_PAGE_NO 就是指的LOB DATA的页号, OFFSET_DATA_LEN 就是lOB DATA页里面存储的数据大小(虽然是4字节, 实际只使用2字节).

FIL_PAGE_TYPE_LOB_INDEX

记录索引信息, 就是ENTRY, 比较简单.结构如下:

参考: storage/innobase/include/lob0index.h

FIL_PAGE_TYPE_LOB_DATA

存放LOB数据的, 结构更简单, 就是 FIL_PAGE_DATA + OFFSET_VERSION =39 剩下的全是数据. 大小在entry里面记录的. 只管嗷嗷读就行.

测试

对应我们解析ibd文件来说, 使用到的信息不多, 所以我就只读entry了, 反正是链表.

import struct
firstpagno = 5
filename = "/data/mysql_3314/mysqldata/ibd2sql/t20240513_extrapage.ibd"
f = open(filename,'rb') # 二进制只读
f.seek(firstpagno*16384,0)       # 移动到指定的PAGENO
data = f.read(16384)
entry = data[96:96+60]
def read_page(pageno):
	f.seek(pageno*16384)
	return f.read(16384)
	
rdata = b''
while True:
	pageno,datalen,lobversion = struct.unpack('>3L',entry[-12:])
	datalen = datalen>>16
	if pageno == firstpagno:
		rdata += data[696:696+datalen]
	else:
		rdata += read_page(pageno)[39:39+datalen]
	next_entry = struct.unpack('>LH',entry[6:12])
	if next_entry[0] >0 and next_entry[0] < 4294967295:
		entry = read_page(next_entry[0])[next_entry[1]:next_entry[1]+60]
	else:
		break
		
print(len(rdata))  # 这里就不打印数据了, 太大了, 不好看.

数据也不太方便校验一致性, 可以自己简单print一下看看.

题外话

今天遇到某数据库 使用 ALTER TABLE ADD COLUMN XX VARCHAR(200) NULL 时, 数据库服务器负载飙到500+, 数据库一直卡着, 就离谱... 不加NULL时, 就是正常的.

ibd2sql 等下个版本(v1.4)再更新这个溢出页的功能.