大表上的索引损坏 - 腾讯云开发者社区

文章/答案/技术大牛

发布

「Mysql索引原理（十五）」维护索引和表-修复损坏的表

修复损坏的表即使用正确的类型创建了表并加上了合适的索引，工作也没有结束:还需要维护表和索引来确保它们都正常工作。...维护表有三个主要的目的：找到并修复损坏的表，维护准确的索引统计信息,减少碎片。表损坏(corruption)是很糟糕的事情。对于MyISAM存储引擎，表损坏通常是系统崩溃导致的。...其他的引擎也会由于硬件问题、MySQL本身的缺陷或者操作系统的问题导致索引损坏。损坏的索引会导致查询返回错误的结果或者莫须有的主键冲突等问题，严重时甚至还会导致数据库的崩溃。...CHECK TABLE通常能够找出大多数的表和索引的错误。...不过，如果损坏的是系统区域，或者是表的“行数据”区域，而不是索引，那么上面的办法就没有用了。在这种情况下,可以从备份中恢复表，或者尝试从损坏的数据文件中尽可能地恢复数据。

3.2K2 0

一次分区大表索引整改的案例分析(上)

，以提高更好的查询效率，但如果涉及的是一张很大的分区表，索引整改必须很慎重，不然调整不理想可能会引起严重的性能问题，因此，本文想根据这个问题提供一种分析思路和操作步骤，使分区大表的索引调整的操作可以考虑得更全面些...我们在接到分区大表索引整改任务需求后，需要考虑到索引调整涉及以下一些操作： 1.删除没有使用的索引 2.删除重复索引 3.索引存在大量碎片需要重建 4.旧索引是否被做了绑定 5.如何删除旧索引 6.调整原先不合适的索引...分析处理不被使用的索引 3.2.1 监控索引的使用情况从awr中获取肯定被使用的索引，可排除后再进行索引监控，本次主要考虑监控A表和B表上索引是否都被使用。...and a.startup_time >(select startup_time from v$instance) 通过把表上的索引和上述语句查询出的索引进行比较，把没有对应的索引进行监控操作，详见...A表和B表上以TIMEKEY字段为第一栏位的索引。

1.3K3 0

您找到你想要的搜索结果了吗？

是的

没有找到

表段、索引段上的LOGGING与NOLOGGING

--==================================== -- 表段、索引段上的LOGGING与NOLOGGING --===============================...===== 在有些情况下，对于表段和索引段可以采用记录日志的模式，也可以使用不记录日志的模式。...本文介绍了在表段，索引段使用 LOGGING与NOLOGGING时产生redo的大小以及DIRECT INSERT APPEND 的使用方法。...一、表段，索引段上使用一般DDL，DML时，LOGGING与NOLOGGING情况 1.查看数据库的归档模式有关设置日志归档模式的问题，请参考： Oracle 联机重做日志文件(ONLINE...f.对于表上具有索引的表对象，如果新增的记录数量为整个表的很少一部分，则直接以append方式批量添加记录，如果原表记录很少，实时性要求不是很高，而新增记录很多，可以先删除索引，在使用append方式追加记录

2.4K2 0

IndexScan比SeqScan返回的结果更少，索引损坏？

给大家分享一个有趣的案例，同一个sql，索引扫描比全表顺序扫描获取的数据更少。本篇我们深入分析一起索引排序规则损坏的案例，并debug验证索引扫描的主要过程。问题现象走索引扫描查询到1条数据。...索引损坏了？问题分析当我们怀疑索引损坏时，可以使用amcheck插件对索引进行扫描分析，检查是否存在异常。...，24的键值为'31 09 xxx'，25的键值为'2b 4c xxx'，前者大，确实是有问题的。...经过排查这次异常就是glibc差异导致的，glibc版本从2.17到2.28。当遇到这样的索引损坏场景时，建议reindex对应的索引来修复。这个问题基本分析清楚了，不过老杨不打算到此为止。...从bt_page_items的结果来看，23和24的键值是一样的，都比25大，因此索引排序规则是错乱的。

2081 0

安全删除MySQL大表（上）

一.简介源码地址日期：2018/4/12 介绍：工具用于安全删除MySQL表，对于一些特定场景可能有用应用场景：大批删除不走索引但是有主键的场景[可以是单列索引，也可是多列索引] 实现思路：根据where...条件获取到主键值，然后重新拼接SQL 注：本工具仅用于学习，如用于生产，请充分测试效果图： image.png 二.使用适用：centos6+ 语言：中文注意：必须有主键或者非空唯一索引 1.下载...git clone https://gitee.com/mo-shan/safe_delete.git cd safe_delete 2.配置，将这里的mysql_path改成mysql工具的绝对路径...*#mysql_path=\"/mysqlbinlog_path\"#g' bin/safe_delete 将这里的safe_delete_path改成safe_delete的家目录的绝对路径 sed

6.2K2 0

MySQL大表增加唯一索引场景

《新增字段的一点一滴技巧》《探寻大表删除字段慢的原因》《大表删除字段为何慢？》《主键和唯一约束的索引肯定唯一？》...大表添加唯一索引的途径和问题，确实可能是日常工作中常见的场景，但实际操作时，如果不了解原理，很可能就进坑了。...在没有大查询的情况下，持锁时间很短，基本可以忽略不计，所以强烈建议改表操作时避免出现大查询。由此可见，表记录大小影响着加索引的耗时。如果是大表，将严重影响从库的同步延迟。...相反，可能还不如普通二级索引。在读请求上，唯一索引和普通二级索引的性能差异几乎可以忽略不计了。...在写请求上，普通二级索引可以使用到【Change Buffer】，而唯一索引没法用到【Change Buffer】，所以唯一索引会差于普通二级索引。

4.4K4 0

存储优化(3)-mongo大表加索引

摘要在存储优化(2)-排序引起的慢查询优化中我们提到过排序对查询选择索引的影响。但是的解决办法就是增加一个索引。在线上给mongo的大表增加一个索引要慎重。...在增加索引的过程中也遇到了一些问题，这边进行相关的记录与分析。问题描述表结构 _id,biz_Id,version,name 索引 1....":-1},"limit":1}} 增加一个索引 bizId,_id 增加索引过程对于大表（该表记录数5亿），建立索引过程涉及到锁表，大量的读写操作、数据同步，肯定会影响线上的操作。...所以选择在业务低谷期，建立一个background的index,这样不会锁表。...总结最后解决是通过强制索引来避免索引误判，当然也可以将排序改成 sort({bizId:-1,_id:-1}) 这样也不会误判总结一下：大表加索引，需要确保不会block表的其他操作，尽量选择空闲时候

3.3K1 0

技术分享 | MySQL 大表添加唯一索引的总结

在没有大查询的情况下，持锁时间很短，基本可以忽略不计，所以强烈建议改表操作时避免出现大查询。由此可见，表记录大小影响着加索引的耗时。如果是大表，将严重影响从库的同步延迟。...可能丢数据，有辅助功能可以避免部分丢数据的场景适合添加唯一索引3 添加唯一索引的风险根据上面的介绍可以得知gh-ost是比较适合大表加唯一索引，所以这部分就着重介绍一下gh-ost添加唯一索引的相关内容...第一，如果是大表，在执行【gh-ost-on-before-cut-over】脚本过程中（大表执行这个脚本时间较长），新增的记录跟原来数据有重复，这个就没法规避了。...在读请求上，唯一索引和普通二级索引的性能差异几乎可以忽略不计了。...在写请求上，普通二级索引可以使用到【Change Buffer】，而唯一索引没法用到【Change Buffer】，所以唯一索引会差于普通二级索引。

3.6K3 0

Postgresql 损坏的索引怎么查出来,解决了他

POSTGRESQL 中如果你的表文件有损坏,则在查询中会直接告诉你某些文件缺失,你无法对这个表进行查询,或操作. 如果是索引可能就没有这么的简单了. ?...当一个索引文件有问题的情况下,会遇到什么情况 1 查询的时候明明有索引,但查询的时候大部分情况走全表扫描 2 通过pg_stat_user_tables可以看到 idx_scan 明显比 seq_scan...而此时会有一个问题,就是INDEX 和数据是一体的,到底是数据损坏还是索引损坏的问题....要验证这个问题,有一个比较笨的方法,就是通过pg_dump的方式把表导出,如果这个表被导出的情况下,则证明表的索引已经损坏了....如果觉得这样的操作对于大表不是太合理,可以通过查询 explain analyze 的方式来进行,查看查询中的数据结果是否一致.

1.5K2 0

一次分区大表索引整改的案例分析(下)

04 跟踪：调整索引后分析 4.1发现很多涉及调整表的SQL跑的异常缓慢新建11和41号索引后，发现大量涉及B表查询的SQL使用上了11和41号的索引，但执行却异常缓慢，结合业务逻辑和执行计划判断其应该使用其他更合适的已有索引...'&OWNER',tabname => '&TABLENAME ',colname => 'eventname',density => 0.01); 修改密度值后，sql执行正常了，但此时发现其他大表也存在密度不准确的问题...表查看索引统计信息，发现17号的索引分区有收集，而16号的索引分区没收集统计信息，收集这个索引分区的统计信息之后，异常SQL用上了正确的索引。...、41号索引后虽然已经执行统计信息收集，但因收集的方式不对，造成基数和密度不正确，导致很多不使用11、41号索引的SQL也使用这个索引而造成的故障，因此对于大表分区，在统计信息收集后，还需要进一步通过dba_ind_statistics...2.我们知道创建索引的时候会自动收集统计信息，但在创建大表索引之后，仍需要详细检查新建索引是否有统计信息，特别是分区索引，可能存在跨日时间部分分区统计信息不全的情况，导致成本错误，使其他sql走错索引。

9654 0

MySQL 的回表、覆盖索引、索引下推

回表在研究mysql二级索引的时候，发现Mysql回表这个操作，往下研究了一下字面意思，找到索引，回到表中找数据解释一下就是：先通过索引扫描出数据所在的行，再通过行主键ID 取出数据。...ID回到主键索引树里再查表里的数据，这个操作就是回表。...另外回表的产生也是需要一定条件的，如果一次索引查询就能获得所有的select 记录（也就是联合索引已经包含了你查的字段）就不需要回表，如果select 所需获得列中有其他的非索引列，就会发生回表动作。...）索引下推索引下推（index condition pushdown ）简称ICP，在Mysql5.6以后的版本上推出，用于优化回表查询；在不使用ICP的情况下，在使用非主键索引（又叫普通索引或者二级索引...总结：索引下推功能是mysql 5.6推出优化回表的操作，只支持向上兼容，低版本是不支持的；索引下推优化的只是回表次数，扫描行数还是一样的。

2.4K2 0

2018-11-26 oracle查询表信息（索引，外键，列等）1、查询出所有的用户表2、查询出用户所有表的索引3、查询用户表的索引(非聚集索引):4、查询用户表的主键(聚集索引):5、查询表的索引6

oracle中查询表的信息，包括表名，字段名，字段类型，主键，外键唯一性约束信息，索引信息查询SQL如下，希望对大家有所帮助： 1、查询出所有的用户表 select * from user_tables...from user_tables where table_name = upper('表名') 因为无论你建立表的时候表名名字是大写还是小写的， create语句执行通过之后，对应的user_tables...2、查询出用户所有表的索引 select * from user_indexes 3、查询用户表的索引(非聚集索引): select * from user_indexes where uniqueness...='NONUNIQUE' 4、查询用户表的主键(聚集索引): select * from user_indexes where uniqueness='UNIQUE' 5、查询表的索引 select...select * from role_tab_privs ; 查看索引个数和类别 select * from user_indexes where table_name='表名' ; 查看索引被索引的字段

5K2 0

pt-osc 亿级大表在线不锁表变更字段与索引

NO.1 背景大家在日常工作中，往往需要对数据库的表结构做变更，一般涉及到增删字段，修改字段属性等ALTER的操作。然而，在大表场景下，特别是千万级、亿级的大表，如果处理不当。...这些操作往往会引发锁表的巨大隐患，特别是在生产环境中，一旦在变更表结构过程中，出现了长时间锁表，会导致用户产生的数据长时间无法正常变更到表中，进而导致服务功能异常，结果将是灾难性的。...其实在业界中，就有一个比较成熟的工具，针对大表的场景，可以在线进行Alter变更，且不会出现锁表的风险。除此之外，它还有其他的一些优点，让我们开始探索吧。...NO.3 pt-osc主要执行步骤 1、创建一个跟原表一模一样的新表，命名方式为'_正式表名_new'; 2、使用alter语句将要变更的内容在新创建的新表上做变更，避免了对原表的alter操作； 3、...在测试环境中，专门做了一个测试，让大家有更加直观的感受。在测试库中，准备了一张1600万数据的大表，目标为对大表添加一个字段，分别使用存储过程和pt-osc工具，进行测试。

2.1K2 0

MySQL查询表索引的方式

在网上可以查到有两种方式查询表的索引 show index from tablename SELECT * FROM mysql.innodb_index_stats a WHERE a.database_name...= '数据库名' and a.table_name like '%表名%'; 第一种是可行的，问题是在于并不是用SELECT语句，所以就不能和其他的表数据一起查询，譬如说查询表结构的时候连同索引一起查询...(第二种来自于网络，实际上语句本身就有错误和低效的like，我们先只看逻辑) 仅看第二种也是不可行的，因为除了ROOT用户以外的用户无法访问innodb_index_stats表，所以是不行的。...在网上翻了很多页面都没有找到合适的解决方案，于是我把所有独立数据库用户身份可以查看的表全部翻看一遍之后发现。STATICS表中是存有索引数据的。...SELECT * FROM INFORMATION_SCHEMA.STATISTICS WHERE TABLE_SCHEMA = basename AND TABLE_NAME = tablename 将索引信息和表结构信息一起查看的查询

5K2 0

在 Linux 上查找和删除损坏的符号链接

符号链接(symbolic link)在 Linux 系统上扮演了非常有用的角色。...它们可以帮助你记住重要文件在系统上的位置，使你更容易访问这些文件，并让你不必为了更方便访问大文件而复制它们，从而节省了大量的空间。什么是符号链接？...通常称它们为“符号链接”或“软链接”，符号链接是非常小的文件。实际上，符号链接真正包含的是它指向的文件的名称，通常包含路径（相对于当前位置或绝对路径）。...-exec test -e {} \; -print 2>/dev/null 如何处理损坏的符号链接除非你知道符号链接引用的文件会被替换，否则最好的方法是直接删除损坏的链接。...实际上，如果需要，你可以使用一条命令查找并删除损坏的符号链接，如： $ find .

4.7K2 1

MySQL数据表的损坏及容灾解决方案

引言在互联网应用中，MySQL是最常用的关系型数据库之一。然而，数据表的损坏可能会导致数据丢失或无法正常访问，给业务运营带来严重影响。...本文将讨论MySQL数据表容易损坏的情况，并提供相应的容灾解决方案。数据表容易损坏的情况 MySQL数据表在以下情况下容易发生损坏：硬件故障：例如磁盘故障、电源问题等，可能导致数据表损坏。...数据表容灾解决方案为了保护MySQL数据表免受损坏，我们可以采取以下容灾解决方案：定期备份：定期备份数据表是最基本的容灾措施。...定期维护和优化：定期进行MySQL数据库的维护和优化操作，包括索引优化、碎片整理、数据校验等，可以减少数据表损坏的风险。...结论 MySQL数据表的损坏可能会给业务运营带来严重影响，因此采取适当的容灾解决方案非常重要。

1K2 0

超全的数据库建表SQL索引规范，适合贴在工位上！

；同等条件下，表中有较多空字段的时候，数据库的处理性能会降低很多 c、NULL值需要更多的存储空，无论是表还是索引中每行中的NULL的列都需要额外的空间来标识【强制】（9）禁用保留字，如DESC、RANGE...【建议】（4）在WHERE条件的属性上使用函数或者表达式解读：Mysql无法自动解析这种表达式，无法使用到索引。【强制】（5）禁止使用外键与级联，一切外键概念必须在应用层解决。...---- 索引规约【建议】（1）避免在更新比较频繁、区分度不高的列上单独建立索引解读：区分度不高的列单独创建索引的优化效果很小，但是较为频繁的更新则会让索引的维护成本更高【强制】（2） JOIN的表不允许超过五个...提高索引的效率，相应我们在Mapper中编写SQL的WHERE条件中有多个条件时，需要先看看当前表是否有现成的联合索引直接使用，注意各个条件的顺序尽量和索引的顺序一致。...【建议】（6）在较长VARCHAR字段,例如VARCHAR(100)上建立索引时，应指定索引长度，没必要对全字段建立索引，根据实际文本区分度决定索引长度即可。

1.5K1 0

亿级大表垂直拆分：上云业务的工程实践

，第 1 点提到的问题，将是一颗定时炸弹，埋在不断被堆积的业务里； 3、DB 运维：在追求平滑升级的背景下，我们对表结构变更时，一般选择是在业务低峰期，对临时表进行拷贝，然后执行 DDL 变更（增删字段和索引...），最后通过 rename 完成业务切换；大表的临时表将具有跟原表同样大小体积，这对运维来说，每次备份大表都是一个巨大的资源和时间开销。...4、业务隐患：为了完成 DB 高可用部署，我们的业务上云之后，采取了一主多从的部署架构。因此 DDL 变更期间，由于强同步配置，难免造成从库的数据延迟问题。...上文讲了大表背景下导致的种种问题，基于上述原因，我们团队决定趁着重构的机会，进行一次大表垂直拆分：大字段迁移。...这里建议直接设定一个区间，按照主键 ID 来遍历；否则通过任何索引+分页的手段，最后都会面临深度分页带来的性能问题，属于是本末倒置了。

2.1K29 12

MySQL复合索引和单列索引的单表查询分析

单表复合索引的性能分析 ?...MySQL 在进行查询时，会根据索引筛选出复合索引的行，如果存在查询条件不在索引中的列，会进行二次筛选（即根据筛选出来的行进行二次查询），导致遍历的行数增加。部分查询条件会导致全表扫描 ?...总结在我们使用单列索引和复合索引时，需要注意以下几点：常用的字段放在第一列，经常和第一列一起使用的字段放在第二列，如用户表的电话和姓名，身份证表的身份照号和姓名，如果超过两列，则注意其顺序。...条件查询时，尽可能所有字段都有索引（如sex这种情况例外，因为sex的值只有三个，冗余性太高，定位比较差，不如全表检索快），这样能提高很多效率。...select* 或许性能和指定字段相差不是非常大，但是代码的可读性降低了很多，不推荐使用。 ? ?

2.2K1 0

生成 MySQL 删除索引、创建索引、分析表的 SQL 语句

生成删除索引的 SQL 语句 mysql -uwxy -p12345 -S /data/18253/mysqldata/mysql.sock -e " select concat('alter table...生成创建索引的 SQL 语句 mysql -uwxy -p12345 -S /data/18253/mysqldata/mysql.sock -e " select concat('alter table...生成分析表的 SQL 语句 mysql -uwxy -p12345 -S /data/18253/mysqldata/mysql.sock -e " select concat('analyze table

2.6K3 0

点击加载更多

「Mysql索引原理（十五）」维护索引和表-修复损坏的表

一次分区大表索引整改的案例分析(上)

表段、索引段上的LOGGING与NOLOGGING

IndexScan比SeqScan返回的结果更少，索引损坏？

安全删除MySQL大表（上）

MySQL大表增加唯一索引场景

存储优化(3)-mongo大表加索引

技术分享 | MySQL 大表添加唯一索引的总结

Postgresql 损坏的索引怎么查出来,解决了他

一次分区大表索引整改的案例分析(下)

MySQL 的回表、覆盖索引、索引下推

2018-11-26 oracle查询表信息（索引，外键，列等）1、查询出所有的用户表2、查询出用户所有表的索引3、查询用户表的索引(非聚集索引):4、查询用户表的主键(聚集索引):5、查询表的索引6

pt-osc 亿级大表在线不锁表变更字段与索引

MySQL查询表索引的方式

在 Linux 上查找和删除损坏的符号链接

MySQL数据表的损坏及容灾解决方案

超全的数据库建表SQL索引规范，适合贴在工位上！

亿级大表垂直拆分：上云业务的工程实践

MySQL复合索引和单列索引的单表查询分析

生成 MySQL 删除索引、创建索引、分析表的 SQL 语句

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐