首页
学习
活动
专区
圈层
工具
发布

技术分享 | MySQL 大表添加唯一索引的总结

MySQL 5.6 开始支持 Online DDL,添加唯一索引虽然不需要重建表,也不阻塞DML,但是大表场景下还是不会直接使用Alter Table进行添加,而是使用第三方工具进行操作,比较常见的就属...本文就来总结梳理一下添加唯一索引的相关内容。本文对ONLINE DDL讨论的也是基于MySQL 5.6及以后的版本。...原表存在重复值的风险规避针对这类场景,规避方式可以采用hook功能辅助添加唯一索引,在改表前先校验待添加唯一索引的字段的数据唯一性。...改表前先校验一次原表是否存在待添加唯一索引的字段的数据是否是唯一的,如果不满足唯一性就直接退出添加唯一索引。...MySQL大表添加唯一索引做了一下总结,分享了一些案例和经验。

3.1K30

hive建表并添加数据_hive和mysql的关系

在使用hive进行开发时,我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。...要想还原建表DDL就必须从元数据入手,我们知道,hive的元数据并不存放在hdfs上,而是存放在传统的RDBMS中,典型的如mysql,derby等,这里我们以mysql为元数据库,结合0.4.2版本的...连接上mysql后可以看到hive元数据对应的表约有20个,其中和表结构信息有关的有9张,其余的10多张或为空,或只有简单的几条记录,以下是部分主要表的简要说明。...中获取构建对象的最新ID,与构建对象信息(名称,类型等)一同通过DAO方法写入到元数据表中去,成功后将SEQUENCE_TABLE中对应的最新ID+5。...有了上面的信息,再想获得hive的建表语句已经是易如反掌了,这里提供一个已经开发好的脚本,使用shell开发,大家可以自由修改。注意:其中mysql连接信息请根据实际环境进行配置。

3.5K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    粗聊Mysql——你会建库建表么?

    本文中说到的“建”,并非单纯的建一个库,或是建一张表,而是你建好的库和表在项目的运营中,是否能应付各种事件,下面我说说几个我在项目中遇到的问题以及处理的方法,算是一个小小的心得,给大家分享下。...比如现在有2张表,一张新闻栏目表,一张新闻表,现在两张表需要进行关联,我想大多数人的做法肯定是在新闻表里建一个新闻栏目id,然后把新闻栏目表里的主键ID(自增)写到这个字段里,通过这样进行两表关联。   ...原因其实很简单,栏目我们会增加,也会删除,删除就会造成主键id之间会有断号的情况,由于主键设置为自增,也就是说你之前删掉的栏目,再进行添加,id是不会去补上哪个空缺的,而是一直递增。...所以我建议两表之间关联不用主键,而是单独建一个编号的字段,我们这里可以用mysql的uuid()函数做为编号,相关文献可以参考《UUID做主键好还是不好》,只所以一张表要2个主键,一个物理主键(自增id...至于性能,我本地测了下基本上没差异,网上也有人做了10W条数据的测试——《实测MYSQL UUID性能》。

    7.1K10

    MySQL 系列教程之(五)DDL 操作:建库建表

    MySQL 数据库 创建数据库 使用root登录后,可以使用 create database if not exists user default charset utf8 创建数据库,该命令的作用:...查看表结构 desc stu; 查看建表语句 show create table stu\G 修改表结构 格式: alter table 表名 action(更改选项); 添加字段: 添加字段:alter...; -- 在user表的email字段后添加一个age字段,设置int not null default 20; alter table user add age int not null default...表中的name字段添加唯一性索引,索引名为uni_name; alter table user add unique uni_name(name); -- 为user表中的email字段添加普通索引...删除表 MySQL中删除数据表是非常容易操作的, 但是你再进行删除表操作时要非常小心,因为执行删除命令后所有数据都会消失。 DROP TABLE table_name ;

    9.4K73

    mysql常见的建表选项和约束

    约束主要是防止非法数据进入表中,保证数据的正确性和一致性,统称为数据完整性 约束也可以防止一个表被删除 MySQL的约束保存在information_schema.table_constraints中...,可以通过该表查询约束信息 常见的约束类型 not null非空,指定某列不为空(注意区分空和空格的关系) unique:唯一约束,指定某列和几列组合的数据不能重复 primary key:主键约束,指定某列的数据不能重复...主键是用来唯一标识表中的每一行,类型一般为整型或者字符串 具有主键约束的列不允许有null值,不允许有重复值 每个表最多只允许一个主键,可定义联合主键,主键名总是PRIMARY 联合主键 用几个列来进行唯一标识一行...Oracle中国可以使用check约束,有相应作用 mysql> create table test_ck( -> id int check(id>0) -> ); mysql...ENUM只能选一个值,SET可以选择多个值 AUTO_INCREMENT 自增 缺点:当删除上一条时会在删除的上一条的基础上加1,不会覆盖原来删除的编号 列的数值自动增长,列的类型只能是整数类型 通常给主键添加自增长约束

    1.9K10

    MySQL【第二章】——建表&&约束

    一、数据类型   MySQL中定义数据字段的类型对你数据库的优化是非常重要的。 MySQL支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。...date: yyyy/MM/dd     time: HH/mm/ss     datetime: yyyy/MM/dd/HH/mm/ss     timestamp: 1970-01-01  二、建表...例如:   1) 性别:sex char(1) default '男'     2) 日期:createdate timestamp default current_timestamp 2.建表...3 数据类型,        ...           );     2.2 修改表结构(增删改表列字段)     注:ALTER TABLE 语句用于在已有的表中添加、修改或删除列。    ...table 表名称 modify column 列名 数据类型;          2.3 删除表     语法:drop table 表名称;   补充说明:   1)添加表外键:

    6.1K20

    MySQL建表数据类型的选择

    如果查询中包含可为 NULL 的列,对 MySQL 来说更难优化,因为可为 NULL 的列使得索引、索引统计和值比较都更复杂。特别是计划在列上建索引,就应该尽量避免设计成可为 NULL 的列。...MySQL 可以为整数类型指定宽度,例如 int(11),对大多数应用这是没有意义的:它不会限制值的合法范围,只是规定了 MySQL 的一些交互工具(例如 MySQL 命令行客户端)用来显示字符的个数。...MySQL 浮点型和定点型可以用类型名称后加(M,D)来表示,M 表示该值的总共长度,D 表示小数点后面的长度。...例如,decimal(18, 9) 小数点两边将各存储 9 个数字,一共使用 9 个字节:小数点前的数字用 4 个字节,小数点后的数字用 4 个字节,小数点本身占 1 个字节。...枚举(enum)类型 MySQL 在内部会将每个值在列表中的位置保存为整数,并且在表的 .frm 文件中保存 “数字-字符串” 映射关系的 “查找表”。

    6.7K10

    MySQL大表增加唯一索引场景

    但MySQL中对于字段、索引的使用,就需要些技巧,否则就会碰到坑,这是初学MySQL,比较不太适应的一个点,看到技术社区推的这篇文章《技术分享 | MySQL 大表添加唯一索引的总结》,就讲到了MySQL...MySQL 5.6 开始支持 Online DDL ,添加[唯一]索引虽然不需要重建表,也不阻塞 DML ,但是大表场景下还是不会直接使用 Alter Table 进行添加,而是使用第三方工具进行操作,...本文就来总结梳理一下添加唯一索引的相关内容。 本文对 ONLINE DDL 讨论的也是基于 MySQL 5.6 及以后的版本。...改表前先校验一次原表是否存在待添加唯一索引的字段的数据是否是唯一的,如果不满足唯一性就直接退出添加唯一索引。...pt-osc 建议添加【--no-drop-old-table】参数 gh-ost 不建议添加【--ok-to-drop-table】参数 六、提醒 本文对MySQL大表添加唯一索引做了一下总结,分享了一些案例和经验

    3.8K40

    Mysql千万级大表添加字段锁表?

    MySQL 大表数据添加新字段 有时候我们在测试环境给一个表添加字段,但是在线上环境添加一个字段,却极其的慢。...,导致新表数据流失不完整 总结 生产环境MySQL添加或修改字段主要通过如下四种方式进行,实际使用中还有很多注意事项 直接添加 如果该表读写不频繁,数据量较小(通常1G以内或百万以内),直接添加即可(可以了解一下...online ddl的知识) 使用pt_osc添加 如果表较大 但是读写不是太大,且想尽量不影响原表的读写,可以用percona tools进行添加,相当于新建一张添加了字段的新表,再将原表的数据复制到新表中...,复制历史数据期间的数据也会同步至新表,最后删除原表,将新表重命名为原表表名,实现字段添加 先在从库添加 再进行主从切换 如果一张表数据量大且是热表(读写特别频繁),则可以考虑先在从库添加,再进行主从切换...,切换后再将其他几个节点上添加字段 将现有MySQL版本5.7升级到8.0.12之后的版本 相关文章 Mysql事务 Mysql中的索引 Mysql通过binlog恢复数据

    12.7K30

    Hive创建表时添加中文注释后乱码问题

    创建数据表时我们经验会添加一些中文注释到表里面方便识别,最近在测试Hive的时候,发现添在Hive创建表时添加COMMENT时的中文注释就会出现乱码,如下: 解压思路:...latin1字符集,所以中文显示不出来,应该使用utf8; 但是很奇怪,我整个MySQL都是使用utf8的字符集;所以这个与Mysql的配置无直接关系;但是可以通过修改Mysql上面的表默认字符集来解决...登陆Mysql数据库切换到Hive库: use hive  修改以下两张表即可; alter table COLUMNS_V2 modify column COMMENT varchar(256) character...latin1_bin DEFAULT NULL,  修改成:  `PKEY_COMMENT` varchar(4000) CHARACTER SET utf8 DEFAULT NULL,  最后修改完后就执行上面的初始化元数据...实例中使用的建表语句: DROP TABLE IF EXISTS tao12;  create table tao12  (class string COMMENT '品类',  product string

    1.6K41

    MySQL数据库建表、优化、算法、分区分库分表总结

    建表 一、主键设置 主键为什么不推荐有业务含义? 1、因为任何有业务含义的列都有改变的可能性,主键一旦带上了业务含义,那么主键就有可能发生变更。...,如果页面达到装载因子(InnoDB默认为15/16),则开辟一个新的页(节点) 3、如果表使用自增主键,那么每次插入新的记录,记录就会顺序添加到当前索引节点的后续位置,当一页写满,就会自动开辟一个新的页...添加删除标记(例如操作人、删除时间); 建立版本机制; 3、表结构合理性配置 多型字段的处理,就是表中是否存在字段能够分解成更小独立的几部分(例如:人可以分为男人和女人); 多值字段的处理...什么情况下应不建或少建索引?...EXPLAIN 的查询结果还会告诉你你的索引主键被如何利用的,你的数据表是如何被搜索和排序的 当只要一行数据时使用limit 1,MySQL数据库引擎会在找到一条数据后停止搜索,而不是继续往后查少下一条符合记录的数据

    6.4K31

    一个MySQL建表需求的讨论和引导

    每天会去筛选为完成处理的用户数据,重新处理,处理完成后会去修改用户的一个标志位,主要有几个步骤: 1)根据state状态提取state=0的数据(未完成处理数据) 2)程序中按照id为区间分批提取 3)提取完成后修改...首先对于这个表的定义上,业务同学说是归属于状态表,也就意味着表中的每一个用户都有唯一的状态值对应,这个表中存储的数据量会越来越大。...比如业务层对于自增id的使用,在分片环境中可能是不唯一的,如上图所示,可能id=1最多会存在N条同样的数据(N为分片数),所以从业务需求上是不太能满足的。...各大平台都可以找到我 微信公众号:杨建荣的学习笔记 Github:@jeanron100 CSDN:@jeanron100 知乎:@jeanron100 头条号:@杨建荣的学习笔记 网易号:@杨建荣的数据库笔记...大鱼号:@杨建荣的数据库笔记 腾讯云+社区:@杨建荣的学习笔记

    3.3K20

    MySQL数据表操作全指南:建表、修改、删除一步到位【MySQL系列】

    本文全面梳理 MySQL 数据库表的创建(CREATE)、修改(ALTER)、删除(DROP)三大操作,涵盖 DDL 语句基础、常用字段类型选型、主外键与约束设计、规范化建模思路,并结合典型业务场景展示...DDL 语句详解 2.1 CREATE TABLE 最常见的建表语句,用于定义新表及其列、索引、约束等。...', `password` CHAR(60) NOT NULL COMMENT '加盐哈希后密码', `email` VARCHAR(100) DEFAULT NULL COMMENT '用户邮箱...UNIQUE/INDEX:唯一与普通索引。 2.2 ALTER TABLE 用于在已有表上新增、修改、删除列、约束和索引。...TEXT / MEDIUMTEXT / LONGTEXT:海量文本,不建议建索引。 3.3 时间与日期类型 DATE:仅含年月日。 DATETIME:精确到秒,不受时区影响。

    2.3K10
    领券