MySQL的实战系列：大字段如何优化 # 背景 线上发现一张表，1亿的数据量，物理大小尽然惊人的大，1.2T 最终发现，原来有很多字段，10个VARCHAR，1个文本 这么大的表，会给运维带来很大的痛苦...测试后发现，65535并不是最大限制，最大的限制是65532 [MySQL 5.6.27] * char的最大限制是： N<=255 root:test> create table test( a...------+ 1 row in set (0.02 sec) * 页类型的比较 [root()@xx script]# python py_innodb_page_info.py /data/mysql_data...vs一列大字段 多个大字段会导致多次关闭页 root:test> show create table t_3_col; +---------+--------------------------...如果有多个大字段，尽量序列化后，存储在同一列中，避免多次off-page 将文等大字段从主表中拆分出来，a）存储到键值中b）存储在单独的一张子表中，压缩并且 必须保证一行记录小于8K
有一个longtext字段，用于存储长文本，仅万条数据，InnoDB存储文件就达G级，由于是一个小项目，受限于服务器与运维人员水平，不适合使用hdfs，MongoDB等拓展技术栈来解决这种问题，因此直接对mysql...涉及mysql基础知识 一、innodb存储引擎的处理方式 1.mysql在操作数据的时候，以page为单位 不管是更新，插入，删除一行数据，都需要将那行数据所在的page读到内存中，然后在进行操作，这样就存在一个命中率的问题...树底层的叶子节点为一双向链表，因此每个页中至少应该有两行记录，这就决定了innodb在存储一行数据的时候不能够超过8k，但事实上应该更小，有一些InnoDB内部数据结构要存储以及预留操作空间， 3.blob，text大字段...innodb只会存放前768字节在数据页中，而剩余的数据则会存储在溢出段中(发生溢出情况的时候适用)，最大768字节的作用是便于创建前缀索引/prefix index，其余更多的内容存储在额外的page
思路： 1：由于日志查询问题，没看到日志之前怀疑：MYSQL数据库字段长度是否真的足够，排查问题未果。...at com.mysql.jdbc.MysqlIO.send(MysqlIO.java:3681) at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java...:2512) at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2683) at com.mysql.jdbc.ConnectionImpl.execSQL...(ConnectionImpl.java:2486) at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java...:1858) at com.mysql.jdbc.PreparedStatement.executeUpdateInternal(PreparedStatement.java:2079) at com.mysql.jdbc.PreparedStatement.executeUpdateInternal
一、数据类型 各类型的数值范围： 在MySQL中，整型可以指定是有符号的和无符号的，默认是有符号的。 可以通过UNSIGNED来说明某个字段是无符号的。...mysql> insert into tt4 values ( 65 , 65 ); mysql> select * from tt4; +------+------+...insert into tt6 values(101, -99.991); #多的这一点被拿掉了 float(4,2)表示的范围是-99.99 ~ 99.99，MySQL在保存值时会进行四舍五入。...在MySQL中，字符就真的是字符，字母或汉字都认为是字符。 1.5、varchar varchar(L): 可变长度字符串，L表示字符长度，最大长度65535个字节。...mysql> create table votes( -> username varchar(30), -> hobby set('登山','游泳','篮球','武术'), --注意：使用数字标识每个爱好的时候
数据类型分类 对于数据类型分类，这里简单分为数值类型（如BIT,BOOL,INT），文本、二进制类型（如CHAR,VARCHAR），时间日期（DATE），String类型（如ENUM类型），这里简单了解一下即可...tinyint类型 用tinyint数据类型创建表t1: mysql> create table if not exists t1( -> num tinyint -> ); 插入tinyint...of range value for column 'num' at row 1 mysql> 用tinyint unsigned数据类型创建表t2: mysql> create table if not...反过来，我们如果已经有数据被插入到MySql中了，一定是插入的时候是合法的 所以MySql中一般而言，数据类型本身也是一种约束，约束程序员尽可能进行正确的插入，约束使用者，如果你不是一个很好的使用者，...bit数据类型的表t3: mysql> create table if not exists t3( -> id int, -> online bit(1) -> ); Query
MySQL中定义数据字段的类型对你数据库的优化是非常重要的。 MySQL支持多种类型，大致可以分为三类：数值、日期/时间和字符串(字符)类型。...---- 数值类型 MySQL支持所有标准SQL数值数据类型。...这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。...BIT数据类型保存位字段值，并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展，MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...每个时间类型有一个有效值范围和一个"零"值，当指定不合法的MySQL不能表示的值时使用"零"值。 TIMESTAMP类型有专有的自动更新特性，将在后面描述。
MySQL的数据类型 在MySQL中有如下几种数据类型： （1）数值型 数值是诸如32 或153.4 这样的值。...列（字段）的类型比数据类型更为细化，它精确地描述了给定表列（字段）可能包含的值的种类，如是否带小数、是否文字很多。 MySQL有整数和浮点数值的列类型，如表1所示。整数列类型可以有符号也可无符号。...MySQL > 3.23 ） 表3：数值列类型的存储需求 MySQL提供了五种整型： TINYINT、SMALLINT、MEDIUMINT、INT和BIGINT INT...2.3日期时间列类型 MySQL 提供了几种时间值的列类型，它们分别是： DATE、DATETIME、TIME、TIMESTAMP和YEAR。...下表给出了MySQL 为定义存储日期和时间值所提供的这些类型，并给出了每种类型的合法取值范围。
MySQL数据类型 数据类型 指定值和范围 char String(0~255) varchar String(0~255) tinytext String(0~255) text String(0~65536...YYYY-MM-DD HH:MM:SS timestamp YYYYMMDDHHMMSS time HH:MM:SS enum 选项值之一 set 选项值子集 boolean tinyint(1) 数值数据类型...一个小的整数 MEDIUMINT 一个中等大小的整数 INT 一个标准整数 BIGINT 一个大整数 DECIMAL 定点数 FLOAT 单精度浮点数 DOUBLE 双精度浮点数 BIT 一个字节字段 字符串数据类型...格式的时间值 DATETIME YYYY-MM-DD hh:mm:ss格式的日期和时间值 TIMESTAMP YYYY-MM-DD hh:mm:ss格式的时间戳记值 YEAR YYYY或YY格式的年 空间数据类型...MySQL 5.7.8版本支持原生JSON数据类型，可以更有效地存储和管理JSON文档。
MySQL不同存储引擎可能会有不同。下面的内容以InnoDB为主。 选择数据类型的步骤 确定合适的大类型：数字、字符串、时间、二进制 确定具体的类型：有无符号、取值范围、变长定长等。...MySQL检索CHAR不会使用末尾的空格。（列是定长的，MySQL没有存储写入的字符串有多长，只好一刀切，末尾的空格都忽略掉。） VARCHAR末尾的空格不会被“干掉”，检索的时候会用到。...MySQL只能对BLOB和TEXT的前面max_sort_length各字符进行排序和索引。 BLOB和TEXT都不能有default value。...而MySQL在检索BIT的时候会将其当做字符串，而不是整数，这可能会导致一些奇怪的行为。 不建议使用这三个类型：用整数代替。 一些原则 选择最小的满足需求的数据类型。...一般情况下，应该尽量使用可以正确存储数据的最小数据类型。 简单就好。
一.数值类型 Mysql支持所有标准SQL中的数值类型，其中包括严格数据类型(INTEGER,SMALLINT,DECIMAL,NUMBERIC)，以及近似数值数据类型(FLOAT,REAL,DOUBLE...对于小数点后面的位数超过允许范围的值，MySQL 会自动将它四舍五入为最接近它的值，再插入它。 DECIMAL 数据类型用于精度要求非常高的计算中，这种类型允许指定数值的精度和计数方法作为选择参数。...忽略 DECIMAL 数据类型的精度和计数方法修饰符将会使 MySQL 数据库把所有标识为这个数据类型的字段精度设置为 10，计算方法设置为 0。...三.日期和时间类型 在处理日期和时间类型的值时，MySQL 带有 5 个不同的数据类型可供选择。它们可以被分成简单的日期、时间类型，和混合日期、时间类型。...MySQL 会自动使用系统当前的日期和时间来填充它。 复合类型 MySQL 还支持两种复合数据类型 ENUM 和 SET，它们扩展了 SQL 规范。
1.1数据类型分类 MySQL 数据类型可以分为三大类： 数值类型：包括整数类型、浮点类型、定点类型等。 字符串类型：包括 CHAR、VARCHAR、TEXT 等。...范围： 有符号：-128 到 127 无符号：0 到 255 如果插入超出该范围的值，MySQL 会报错。...例如： 无符号小数：float(4,2)表示的范围是0 ~ 99.99，MySQL在保存值时会进行四舍五入。...因此，在 utf8 编码下，VARCHAR 字段的最大字符数是 21844。...这个限制是因为 VARCHAR 的最大字节数为 65535 字节，而每个字符占用 3 个字节，再加上存储长度的开销（最多 3 个字节），因此实际能存储的最大字符数为 65535 / 3 = 21845，
mysql 数据类型 MySQL数据类型 含义（有符号） tinyint(m) 1个字节 范围(-128~127) smallint(m) 2个字节 范围(-32768~32767) mediumint...浮点型(float和double) MySQL数据类型 含义 float(m,d) 单精度浮点型 8位精度(4字节) m总个数，d小数位 double(m,d) 双精度浮点型 16位精度(8字节) m总个数... 字符串(char,varchar,_text) MySQL数据类型 含义 char(n) 固定长度，最多255个字符 varchar(n) 固定长度，最多65535个字符 tinytext...日期时间类型 MySQL数据类型 含义 date 日期 '2008-12-2' time 时间 '12:25:36' datetime 日期时间 '2008-12-2 22:06:44' timestamp...数据类型的属性 MySQL关键字 含义 NULL 数据列可包含NULL值 NOT NULL 数据列不允许包含NULL值 DEFAULT 默认值 PRIMARY KEY 主键 AUTO_INCREMENT
数据类型分类 简单看一下数据可常见类型： 数值类型 tinyint类型 创建一个表，表中内容是tinyint型有符号： mysql> create table if not exists t1 (...sec) mysql> insert into t1 values (-1); Query OK, 1 row affected (0.00 sec) mysql> insert into t1...总结： 如果插入的数据超过MySQL数据类型的范围，那么MySQL就不让你插入，直接拦截，不让做对应的操作。...如果已经有数据被成功插入到MySQL中，那么插入的时候一定是合法的。 因此，MySQL中，一般而言，数据类型本身也是一种约束。...mysql> insert into votes values('貂蝉','女','代码'); Query OK, 1 row affected (0.01 sec) mysql> insert into
MySQL之数据类型 MySQL常见的数据类型有数值、日期和时间、字符串 数值 整数类型（精确值） Integer Types (Exact Value) - INTEGER, INT, SMALLINT...MySQL进行舍入时存储的值，所以如果你插入999.00009成浮（7,4）柱，近似的结果是999.0001 If M and D are omitted, values are stored to the
数值类型 MySQL支持所有标准SQL数值数据类型。...这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。...BIT数据类型保存位字段值，并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展，MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...每个时间类型有一个有效值范围和一个"零"值，当指定不合法的MySQL不能表示的值时使用"零"值。 TIMESTAMP类型有专有的自动更新特性，将在后面描述。
MySQL 数据类型 MySQL中定义数据字段的类型对你数据库的优化是非常重要的。 MySQL支持多种类型，大致可以分为三类：数值、日期/时间和字符串(字符)类型。...---- 数值类型 MySQL支持所有标准SQL数值数据类型。...这些类型包括严格数值数据类型(INTEGER、SMALLINT、DECIMAL和NUMERIC)，以及近似数值数据类型(FLOAT、REAL和DOUBLE PRECISION)。...BIT数据类型保存位字段值，并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展，MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...每个时间类型有一个有效值范围和一个"零"值，当指定不合法的MySQL不能表示的值时使用"零"值。 TIMESTAMP类型有专有的自动更新特性，将在后面描述。
前言 数据库也是有数据类型的，各个类型也有不同的数据范围。...在前面的文章中我们只使用到了varchar这个类型，其实MySQL中还是有许多的其他类型： 上表只是对数据类型的简单介绍，下面就开始详细的讲解MySQL中的数据类型~ 1. bit类型 语法： bit...事实证明确实如此~ 恭喜你掌握一个数据类型了，继续看下去吧。...可以表达的范围为-99.99~99.99 注意：MySQL在保存值的时候会四舍五入。 创建一个数据类型为float(4,2)的属性。...现在开始插入数据： 总结 本位介绍了MySQL中的数据类型，也了解的各个数据类型的具体用法，数据范围。希望大家在后续的创建表的过程中，可以合理使用这些数据类型。
数据类型实际上也是对数据的一种约束。...一.数据类型分类 二.数值类型 三.tinyint类型 数值越界测试： mysql> create table tt1(num tinyint); Query OK, 0 rows affected...(0.02 sec) mysql> insert into tt1 values(1); Query OK, 1 row affected (0.00 sec) mysql> insert into...无符号案例： mysql> create table tt2(num tinyint unsigned); mysql> insert into tt2 values(-1); -- 无符号，范围是...需要注意的是，65532是建表时的最大字节数，也就是说，若要让varchar有这么大的空间，必不能包含其他类型的字段。
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
