首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MySQL大表增加唯一索引场景

‍Oracle中字段、索引的使用,相对来讲,还是比较透明的,人为干涉的较少,过程相对标准,可参考历史文章, 《新增字段在数据块中的体现》 《Oracle删除字段的方式和风险,你都了解么?》...但MySQL中对于字段、索引的使用,就需要些技巧,否则就会碰到坑,这是初学MySQL,比较不太适应的一个点,看到技术社区推的这篇文章《技术分享 | MySQL 大表添加唯一索引的总结》,就讲到了MySQL...MySQL 5.6 开始支持 Online DDL ,添加[唯一]索引虽然不需要重建表,也不阻塞 DML ,但是大表场景下还是不会直接使用 Alter Table 进行添加,而是使用第三方工具进行操作,...这种场景对我们来说体验十分不友好,只要改表过程中目标表存在【DELETE】操作,就会导致添加唯一索引操作失败。...第二, 在改表过程中,如果业务新增一条与原 数据重复的记录,然后又删除,这种场景也会导致丢数据。

2.7K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    PowerBI DAX 用 SUBSTITUTEWITHINDEX 为表增加索引

    在数据库的各种优化中,加索引是一种特别常见而立竿见影的优化方法。当然,在做某些事情时,也需要增加索引。 动态增加索引 业务人员会问:为什么要在 DAX 中增加索引呢?...为什么不预先在 Power Query 中增加一个索引呢? 这样的问题表示:还没有入门 DAX。 入门 DAX 后,会知道:计算总是在用户选择后发生的。...也就是说,如果计算中涉及到增加索引,那么应该是在用户选择以后,那么这种在用户选择以后的计算,我们说它依赖于用户的选择,无法提前预知,所以称为:动态的。...在实际中,与替换元素为索引相比,为元素增加索引,更加常见。这里统一说明。...也就是说,有两种场景定式,一定用该函数解决: 场景一:用数字索引替换某个已经存在的列 场景二:为一个表增加一个数字索引列 用法 SUBSTITUTEWITHINDEX (主表,新增的索引列名,参考表,参考表

    1.9K70

    mysql查询表的索引_MySQL查看表索引

    mysql> show index from tblname; mysql> show keys from tblname; · Table 表的名称。...· Non_unique 如果索引不能包括重复词,则为0。如果可以,则为1。 · Key_name 索引的名称。 · Seq_in_index 索引中的列序列号,从1开始。...· Collation 列以什么方式存储在索引中。在MySQL中,有值‘A’(升序)或NULL(无分类)。 · Cardinality 索引中唯一值的数目的估计值。...基数根据被存储为整数的统计数据来计数,所以即使对于小型表,该值也没有必要是精确的。基数越大,当进行联合时,MySQL使用该索引的机 会就越大。...· Sub_part 如果列只是被部分地编入索引,则为被编入索引的字符的数目。如果整列被编入索引,则为NULL。 · Packed 指示关键字如何被压缩。如果没有被压缩,则为NULL。

    6.8K40

    MySQL只索引组织表

    MySQL之索引组织表 今天没怎么学习,简单写下MySQL里面innodb存储引擎下的索引组织表吧。...在Innodb存储引擎中,表都是根据主键的顺序组织存放的,这种存储方式的表称之为索引组织表,在innodb存储引擎中,每张表都有主键,也就是primary key,如果在创建表的时候没有显式的制定主键,...那么innodb存储引擎会根据如下规则帮助我们选择或者创建主键: 1.首先判断表中是否有飞空的唯一索引,如果有,则该列设置为主键; 2.如果没有,innodb存储引擎自动创建一个6字节大小的指针作为主键...3.当我们的表中有多个唯一索引时,innodb存储引擎会选择建表时的第一个定义的非空索引作为主键,需要注意的是,主键的选择根据的是定义索引的顺序,而不是建表时的顺序。...,可以看出虽然c,d都是非空唯一索引,但是在定义的过程中,unique key (d)比较靠前,所以innodb存储引擎将他作为这个表的主键。

    1.4K10

    MYSQL 回表、索引覆盖、 索引下推

    每个 INNODB 表 都会有一个聚簇索引 创建规则如下: * 如果表设置了主键,则主键就是聚簇索引 * 如果表没有主键,则会默认第一个NOT NULL,且唯一(UNIQUE)的列作为聚簇索引 * 以上都没有...,则会默认创建一个隐藏的row_id作为聚簇索引 聚簇索引整体是一个B+树,非叶子节点存放的是键值,叶子节点存放的是行数据,称之为数据页,这就决定了表中的数据也是聚簇索引中的一部分,数据页之间是通过一个双向链表来链接...explain 分析: 可通过Extra 是否是Using Index 判断查询是否索引覆盖 如何实现索引覆盖: 将被查询的字段,建立到联合索引里去 哪些场景适合使用索引覆盖来优化SQL 全表count...name like '张%' and age = 20; Mysql版本 < 5.6 检索复合索引 idx_name_age 查询出所有 name 包含 “张” 的主键ID 然后通过聚簇索引判断出所有符合...where子句的数据返回 ,此过程需要回表 Mysql版本 >= 5.6 检索复合索引 idx_name_age 查询所有 name 包含 “张” 的 且age =20 的数据 直接返回结果集, 无需回表

    2.1K30

    MySQL查询表索引的方式

    在网上可以查到有两种方式查询表的索引 show index from tablename SELECT * FROM mysql.innodb_index_stats a WHERE a.database_name...= '数据库名' and a.table_name like '%表名%'; 第一种是可行的,问题是在于并不是用SELECT语句,所以就不能和其他的表数据一起查询,譬如说 查询表结构的时候连同索引一起查询...在网上翻了很多页面都没有找到合适的解决方案,于是我把所有独立数据库用户身份可以查看的表全部翻看一遍之后发现。STATICS表中是存有索引数据的。...SELECT * FROM INFORMATION_SCHEMA.STATISTICS WHERE TABLE_SCHEMA = basename AND TABLE_NAME = tablename 将索引信息和表结构信息一起查看的查询...先将STATISTICS表中的数据过滤一遍,再进行合并,两张表都要以basename,tablename进行过滤。

    3.4K20

    MySQL 索引(中)

    聚簇索引和非聚簇索引 聚簇索引是按照每张表的主键构造的一棵 B+ 树,叶子节点中存放的即为整张表的行记录数据,聚簇索引的叶子节点也称为数据页。非聚簇索引叶子节点并不包含行记录的全部数据。...同样是基于索引的查询,查询结果也是相同的,那为什么查询效率不一样呢?举个例子来说明下,假设有数据表 T,表中包含三个字段 id、emp_no 和 gender,id 为主键,并且在 k 上有索引。...表中 R1~R5 的值分别为(3, 300, "M")、(5, 500, "M")、(8, 800, "F")、(13, 1300, "F") 和 (21, 2100, "M"),聚簇索引和非聚簇索引的索引树的示意图如下...如果语句是 select from T where k = 500,即非聚簇索引查询方式,则需要先搜索非聚簇索引树,得到 id 的值为 5 ,再到聚簇索引树中搜索一次。这个过程称为回表。...也就是说,基于非聚簇索引的查询需要多扫描一棵索引树。因此,我们在应用中应该尽量使用主键查询。 覆盖索引 上一节讲到,当使用非聚簇索引查询数据时,由于查询结果需要的数据只在主键索引上有,所以不得不回表。

    1.5K30

    「Mysql索引原理(十五)」维护索引和表-修复损坏的表

    修复损坏的表 即使用正确的类型创建了表并加上了合适的索引,工作也没有结束:还需要维护表和索引来确保它们都正常工作。...维护表有三个主要的目的:找到并修复损坏的表,维护准确的索引统计信息,减少碎片。 表损坏(corruption)是很糟糕的事情。对于MyISAM存储引擎,表损坏通常是系统崩溃导致的。...其他的引擎也会由于硬件问题、MySQL本身的缺陷或者操作系统的问题导致索引损坏。 损坏的索引会导致查询返回错误的结果或者莫须有的主键冲突等问题,严重时甚至还会导致数据库的崩溃。...CHECK TABLE通常能够找出大多数的表和索引的错误。...不过,如果损坏的是系统区域,或者是表的“行数据”区域,而不是索引,那么上面的办法就没有用了。在这种情况下,可以从备份中恢复表,或者尝试从损坏的数据文件中尽可能地恢复数据。

    2.3K20

    MySQL 的回表、覆盖索引、索引下推

    回表 在研究mysql二级索引的时候,发现Mysql回表这个操作,往下研究了一下 字面意思,找到索引,回到表中找数据 解释一下就是: 先通过索引扫描出数据所在的行,再通过行主键ID 取出数据。...即基于非主键索引的查询需要多扫描一棵索引树。 另外上面所说的不需要回表,其实还有另一个名词 覆盖索引 覆盖索引 就是我们需要查询的数据都在二级索引树中,直接返回这种情况就叫做覆盖索引。..., 然后由存储引擎通过判断索引是否符合MySQL服务器传递的条件,只有当索引符合条件时才会将数据检索出来返回给MySQL服务器 ; 索引条件下推优化可以减少存储引擎查询基础表的次数,也可以减少MySQL...会先在name索引上顺序找到 符合条件的name和id数据; 3. 然后通过id在聚簇索引上回表找到对应的age数据,将结果存放在临时表中; 4. 最后在临时表中通过age条件来筛选数据。...总结: 索引下推功能是mysql 5.6推出优化回表的操作,只支持向上兼容,低版本是不支持的; 索引下推优化的只是回表次数,扫描行数还是一样的。

    1.4K20

    「Mysql索引原理(十六)」维护索引和表-更新索引统计信息

    MySQL的査询优化器会通过两个API来了解存储引擎的索引值的分布信息,以决定如何使用索引。...MyISAM将索引统计信息存储在磁盘中, ANALYZE TABLE需要进行一次全索引扫描来计算索引基数。在整个过程中需要锁表。...image.png 这个命令输出了很多关于索引的信息,在MySQL手册中对上面每个字段的含义都有详细的解释。...在 MySQL5.0和更新的版本中,还可以通过 FORMATION_SCHEMA. STATISTICS表很方便地查询到这些信息。...InnoDB在打开某些INF0RMATION_SCHEMA表,或者使用 SHOW TABLE STATUS和SHOW INDEX,抑或在MySQL客户端开启自动补全功能的时候都会触发索引统计信息的更新。

    2K40

    mysql创建索引视图_mysql中创建视图、索引

    这样,用户可以不用看到整个数据库中的数据,而之关心对自己有用的数据。 数据库中只存放了视图的定义,而没有存放视图中的数据,这些数据存放在原来的表中。...使用视图查询数据时,数据库系统会从原来的表中取出对应的数据。 视图中的数据依赖于原来表中的数据,一旦表中数据发生改变,显示在视图中的数据也会发生改变。...MySQL中索引的存储类型有两种:BTREE(树)和 HASH(哈希),具体和表的存储引擎有关。MyISAM和InnoDB存储引擎只支持BTREE索引。...;INDEX 与 KEY为同义词,两者的作用相同,用来指定索引; (1)、普通索引(index): 普通索引是MySQL的基本索引类型,允许在定义索引的列中插入重复值和空值 例: CREATE TABLE...:MySQL只有MyISAM存储引擎支持FULLTEXT索引,并且类类型为CHAR、TEXT、VARCHAR。

    7.7K50

    MySQL存储过程、索引、分表对比

    MySQL存储过程、索引和分表是用于提高查询效率的三种不同方法,它们各自对查询效率有不同的影响和应用场景。...这可以减少客户端与服务器之间的通信次数,提高查询效率,特别是对于复杂的事务操作 2.MySQL索引:•影响查询效率: 索引直接影响查询效率。...但索引也会占用磁盘空间,对写操作(插入、更新、删除)有一定的开销,因此需要谨慎选择索引。 3.MySQL分表:•影响查询效率: 分表可以显著影响查询效率,特别是对于大型数据集。...通过将数据分散到多个表中,每个表的大小减小,查询性能得到改善。分表还可以减轻单个表的负载,提高可扩展性。 •适用场景: 分表适用于大型数据集的情况,特别是需要定期删除或归档旧数据的应用。...•对于超大型数据集,分表是一种有效的扩展性策略,可以将数据分散到多个表中,提高查询性能和数据库的可扩展性。 在实际应用中,通常需要综合考虑这三种方法,根据具体的业务需求和数据规模来选择适当的优化策略。

    18420

    mysql--innodb之索引组织表

    索引组织表依赖主键关系存储的表被称为索引组织表若建表时未显式定义主键无唯一且非空的字段,则自动创建主键有多个唯一且非空字段,则按索引的定义顺序,取第一个为主键select *,_rowid from t1...)组成独立表空间只存储数据,索引等,其他信息如undo日志,二次写缓存等还是存放到共享表中创建的表默认大小是96kb。...n_fields值代表一行中列的数量,占用10位,故mysql支持表中列最多为1023列信息:变长列为空不额外占用空间,但固定长度列为空会占用可能存放的最大字节数Compact 行记录格式create...,索引记录值包含溢出页的20字节指针减少了数据页的大小,替身了容纳行数,适合大量可变长列的表增加了i/o操作,可能导致部分查询性能下降Compressed行记录格式使用zlib算法会对行数据进行压缩,减少磁盘空间使用页外存储和...Dynamic相似,会将可变长度的列存储在页外,索引只记录20字节的指针指向溢出页数据压缩会增加cpu使用拓展不使用undo日志依赖master线程来标记为可用空间,供下次使用表空间的元数据:系统表、系统索引

    7510

    Mysql中的索引

    Mysql索引类型 Primary key/主键索引,Innodb 中又叫聚簇索引,InnoDB存储引擎的表会存在主键(唯一非null),如果建表的时候没有指定主键,则会使用第一非空的唯一索引作为聚集索引...非聚簇索引,索引的逻辑顺序和磁盘上物理存储顺序不一样,非聚簇索引在叶子节点存储的是主键和索引列,当我们使用非聚簇索引查询数据时,需要拿到叶子节点上的主键在去表中查需要的数据,这个过程叫做回表。...表存储结构 MySQL为什么要使用B+树索引?...图中的每个节点称为页,页就是我们上面说的磁盘块,在MySQL中数据读取的基本单位是页,所以我们这里叫做页更符合MySQL中索引的底层数据结构。...聚簇索引和非聚簇索引 在Mysql中B+树索引按照存储方式的不同分为聚集索引和非聚集索引。

    3.3K20

    MySQL联表查询的索引使用

    项目中一般使用的都是单表查询,但是在一些业务场景下,偶尔会选择联表查询,一直对联表查询时如何使用索引一直感到很好奇。...正好近期项目中遇到一个问题,联表查询时,没有建立索引,耗时居然达到了可耻的10分钟,所以趁机了解了一下。...,根据MySQL联表查询的算法Nested-Loop Join,MySQL查询的结果集是3张表的笛卡尔积,所以效率特别低。...比如:在表knowledge的字段update上建立索引idx_time: MySQL [knowledge_base]> alter table knowledge add index idx_time...[(none)]> kill 3468722 结论 关联字段一定要添加索引 where条件的索引建立,一定要查看explain,mysql的工作方式经常跟我们想的不一样 增加慢查询日志(dba呢?)

    11.6K21

    mysql已存在的表增加自增字段

    需求: 已有的mysql数据表,希望增加一个自增的字段,并设置新数据的初始值。 实际上不复杂,只是做个备忘。...utf8; 测试数据: INSERT INTO `t_abc` (`name`) VALUES ('mike'), ('tom'), ('jack'); 添加自增字段并设置新数据的起始值 /*增加一个自增主键字段...,分两步操作*/ /*首先增加自增字段*/ alter table t_abc add column id int auto_increment primary key; /*执行完上面这一条,字段增加...table t_abc add column id int auto_increment primary key; /*这里没有指定任何数值,执行完后只为自增字段赋从1开始的初始值,其实隐含的设置当前表自增字段从...,现在我们应该指定数据库中的maxId+1作为下一个数据的起始值*/ set @maxId=1; select max(id) into @maxId from t_abc; /*表中有3条数据,那么maxId

    11.2K10

    【MySQL】回表查询与覆盖索引

    要了解这俩概念,需要从索引入手。 InnoDB有两大类索引,一类是聚集索引(Clustered Index),一类是普通索引(Secondary Index)。...聚集索引 InnoDB聚集索引的叶子节点存储行记录,因此InnoDB必须要有且只有一个聚集索引。 1.如果表定义了PK(Primary Key,主键),那么PK就是聚集索引。...2.如果表没有定义PK,则第一个NOT NULL UNIQUE的列就是聚集索引。 3.否则InnoDB会另外创建一个隐藏的ROWID作为聚集索引。...普通索引 InnoDB普通索引的叶子节点存储主键值(MyISAM则是存储的行记录头指针)。 假设有这么个表: id是主键,name是普通索引。...称之为回表查询。 不是所有索引都有资格当覆盖索引的,因为覆盖索引必须要存储索引的列值,而哈希索引、空间索引和全文索引等都不存储索引列值,索引MySQL只能使用B-Tree索引做覆盖索引。

    1.5K10
    领券