首页
学习
活动
专区
圈层
工具
发布

MySQL 如何存储长度很长的数据字段

最近,在工作中遇到了MySQL中如何存储长度较长的字段类型问题,于是花了一周多的时间抽空学习了一下,并且记录下来。...MySQL大致的逻辑存储结构在这篇文章中有介绍,做为基本概念:InnoDB 逻辑存储结构 注:文中所指的大数据指的是长度较长的数据字段,包括varchar/varbinay/text/blob。...Compact行格式 我们首先来看一下行格式为Compact是如何存储大数据的: ? 我们建立一张测试表,插入数据: ?...我们很轻松的定义一个字段,来存储11000个字节,但是却无法将他们分成11个字段来存储,有点意思! 那么如何解决上面的问题呢? 将行格式转为接下来要说的Dynamic格式。...当有多个大数据字段满足上面条件,需要被放到外部存储页时,MySQL会优先选择大的字段放到外部存储页,因为这样可以最大限度的省下数据页的空间,使得更多的字段能够被放到数据页。

7.1K20

如何为MySQL主键添加字段?

如何为MySQL主键添加字段? 今天有个同事问了个不常见的问题,就是修改主键字段,给既定的主键添加一个字段应该用什么操作。...但实际的情况是,业务使用业务字段做主键,而且要给这个主键加个字段,好在这张表的数据量不多,这里我做了一个模拟 23:12:51> create table test( -> task_id int...这里我们的主键是task_id字段,现在我们的需求是将主键修改成task_id和aaa的组合字段。...那如何解决这个需求呢?...上面这个SQL,因为要重新组织主键,所以它的代价比较高,在数据量小的表里面可以执行,如果你的表已经有好几百万行数据,为避免对表的正常访问产生影响,请使用pt-osc或者ght-ost工具来完成这个操作。

9.6K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 8.0.19亿级数据如何秒速增加字段?

    概述 今天主要介绍一下MySQL 8.0.19 instant add column的新特性,基于亿级数据秒速增加字段,下面一起来看看吧~ ---- 一、MySQL DDL 的方法 MySQL 在大型表上的...---- 三、mysql 8.0特性instant add column 1、instant add column原理 mysql数据库针对亿级别的大表加字段是痛苦的,需要对表进行重建,MySQL 5.7...而mysql8.0使用instant ADD COLUMN特性,只需很短的时间,字段就加好了,享受MongoDB那样的非结构化存储的灵活方便,无形中减少了开发的工作量。...不支持那些在数据字典表空间中创建的表。 DROP COLUMN需要重建表; modify修改字段属性需要重建表。...2.2、添加字段 mysql 5.7 用inplace算法去对一亿的表添加字段,耗时接近10分钟,MySQL8.0 用instant算法对一亿的表添加字段,耗时0.12s --指定InPlace算法添加列

    10.1K22

    技术分享 | MySQL级联复制下进行大表的字段扩容

    二、库表信息 环境:Mysql 8.0.22 1主1从 基于Gtid复制 1.第一个问题,这是一张大表吗?...四、如何进行操作 新建一个S1的从库,构建M-S1-S2级联复制 使用OnlineDDL在S2上进行字段扩容 (优点是期间M-S1的主从不受影响) 扩容完成后,等待延迟同步M-S1-S2 (降低S2与M...的数据差异,并进行数据验证) 移除S1,建立M-S2的主从关系(使S2继续同步M的数据) 备份S2恢复S1,建立M-S2-S1级联复制 应用停服,等待主从数据一致(优点是差异数据量的同步时间很短) 最终...,M -> S1 -> S2 ,安装MySQL注意本次环境lower_case_table_names = 0 2.在S2 上做字段扩容。...预估 10个小时 `参数设置:` set global slave_type_conversions='ALL_NON_LOSSY'; # 防止复制报错SQL_Errno: 13146,属于字段类型长度不一致无法回放

    1.4K30

    如何监控MySQL的复制延迟?

    pt-heartbeat 数据库做主从复制时,复制状态、数据延迟是否正常是非常关键的指标,那么如何对其进行监控呢?...pt-heartbeat 是 PERCONA 开发的一个工具集中的一个,专门用来监控MySQL和PostgreSQL的复制延迟。 比较成熟,例如Uber等大型公司都在使用。...监控原理 在 master 中建一个 heartbeat 表,其中有一个 时间戳 字段,pt-heartbeat 会周期性的修改时间戳的值。...pt-heartbeat 可以监控任意深度的复制层级,因为 heartbeat 表中有 server_id 字段,在监控某个 slave 的延迟时可以指定是参考哪个 server_id,例如想知道这个...percona-toolkit-2.2.19 $ yum -y install perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker perl-Digest-MD5 perl-DBD-MySQL

    2.3K80

    MySQL · 最佳实践 · 如何索引JSON字段

    原文地址: http://mysql.taobao.org/monthly/2017/12/09/ MySQL · 最佳实践 · 如何索引JSON字段 概述 MySQL从5.7.8起开始支持JSON字段...,这极大的丰富了MySQL的数据类型。...但MySQL并没有提供对JSON对象中的字段进行索引的功能,至少没有直接对其字段进行索引的方法。本文将介绍利用MySQL 5.7中的虚拟字段的功能来对JSON对象中的字段进行索引。...MySQL只是在数据字典里保存该字段元数据,并没有真正的存储该字段的值。这样表的大小并没有增加。我们可以利用索引把这个字段上的值进行物理存储。...小结 本文介绍了如何在MySQL 5.7中保存JSON文档。为了高效的检索JSON中内容,我们可以利用5.7的虚拟字段来对JSON的不同的KEY来建索引。极大的提高检索的速度。

    4.2K20

    数据库MySQL-复制

    复制 复制的本质是可以帮助MySQL分担读负载, 并不能实现写负载. MySQL的高可用可以为高可用, 灾难恢复, 备份提供了很多的选择....MySQL的复制是基于主库上的binglog二进制日志来进行增量推送的, 所以在同一个时间内如果从主库写入数据, 然后快速的向从库读取数据是没有办法做到十分准时的 2....MySQL的复制解决了什么问题 实现了在不同服务器上的数据分布 利用二进制的日志增量进行 不需要太多的带宽 但是使用基于行的复制在进行大批量的更改时会对贷款带来一定的压力 实现数据读取的负载均衡 需要其他组件配合完成...1万条数据每一行的数据修改 二进制日志基于row格式的优点 基于行的日志格式使得主从复制更加安全 对每一行数据的修改比基于段的复制更加高效 当我们因为误操作修改了数据库中的数据, 同时有没有备份可以恢复时...如果使用了行的格式, name需要配置一下binlog_row_image = minimal ,这样可以减少一些不必要的io操作 等于full时是不想管的字段update也会被记录, 使用minimal

    3.1K20

    MySQL | 数据库表字段约束

    数据定义语言:字段约束 数据库的范式 构造数据库必须遵循一定的规则,这种规则就是范式 目前关系数据库有 6 种范式,一般情况下,只满足第三范式即可 第一范式:原子性 第一范式是数据库的基本要求,不满足这一点就不是关系数据库...数据表的每一列都是不可分割的基本数据项,同一列中不能有多个值,也不能存在重复的属性。...字段约束 MySQL 中的字段约束共有四种: 约束名称 关键字 描述 主键约束 PRIMARY KEY 字段值唯一,且不能为 NULL 非空约束 NOT NULL 字段值不能为 NULL 唯一约束 UNIQUE...字段值唯一,且可以为 NULL 外键约束 FOREIGN KEY 保持关联数据的逻辑性 外键约束是唯一不推荐使用的约束 主键约束 主键约束要求字段的值在全表必须唯一,而且不能为 NULL 值 建议主键一定要使用数据类型...唯一约束 唯一约束要求字段值如果不为 NULL,那么在全表必须唯一 CREATE TABLE t_teacher( ......

    7.6K10

    最佳实践 · 如何高效索引MySQL JSON字段

    概述从MySQL 5.7.8版本开始,MySQL引入了对JSON字段的支持,这为处理半结构化数据提供了极大的灵活性。然而,MySQL原生并不支持直接对JSON对象中的字段进行索引。...本文将介绍如何利用MySQL 5.7中的虚拟字段功能,对JSON字段中的数据进行高效索引,以提高查询性能。假设我们有一个记录用户游戏数据的JSON对象,我们希望能够快速检索游戏玩家的相关信息。...接下来,我们将演示如何使用虚拟字段对JSON字段进行索引。...MySQL 5.7中利用生成列来高效索引JSON字段。...开发者可以更好地管理和优化JSON数据结构的查询与索引,充分发挥MySQL 5.7在现代应用中的强大能力。

    2.1K40

    mysql 复制

    概述 MySQL的复制功能是构建基于MySQL的大规模、高性能应用的基础。复制功能不仅有利于构建高性能的应用,同时也是高可用性、可扩展性、灾难恢复、备份以及数据仓库等工作的基础。...本文主要讲述复制如何工作,基本的复制如何搭建,复制的相关配置和优化复制服务器。...复制的工作原理: 简单来说,复制分为下面三个步骤: 在主库上把数据更改记录到二进制日志中(这些记录被称为二进制日志事件)。 备库将主库上的日志复制到自己的中继日志(relay log)中。...备库读取中继日志中的事件,将其重放到备库数据之上。 配置复制 为MySQL服务器配置复制非常简单。最基本的场景是新安装的主库和备库,总的来说分为以下几步: 在每台服务器上创建复制账号。...通知备库连接到主库并从主库复制数据。 创建复制账号 MySQL 会赋予一个特殊的权限给复制线程。在备库运行的I/O线程会建立一个到主库的TCP/IP连接。

    3.4K40

    mysql复制

    一、复制的意义 mysql的复制功能是构建基于MySql大规模,高性能应用的基础,我们可以通过为服务器配置一个或多个备库来进行数据同步;复制功能不仅有利于构建高性能的应用,同时也是高可用性,可扩展行,灾难恢复...,备份以及数据仓库等工作的基础 二、复制的方式 Mysql支持3种方式:基于语句的复制、基于行的复制、混合复制。...SQL线程执行的事件也可以通过配置选项来决定是否写入备库的二进制日志中 五、复制的场景 1、同步复制场景 MySQL Cluster(NDB)采用同步复制,保证集群内数据的强一致性。...优点:写入主库即可,无数据复制代价 缺点:业务数据读取不一致;主库crash时,从库数据和主库不一致 应用场景:对数据读取一致性要求不高的业务 3、半同步复制场景 1) 半同步 MySQL 5.5引入了半同步复制...4、基于行级别的并行复制 基于Mysql Row格式的binlog记录了每一行的所有字段信息,因此可以在从中取出每一行的primary key或者unique key,通过db_name+table_name

    3.8K80
    领券