首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >MySQL单表千万删历史数据,只要20秒?跑路都没这么快

MySQL单表千万删历史数据,只要20秒?跑路都没这么快

作者头像
大风写全栈
发布于 2024-12-20 12:44:07
发布于 2024-12-20 12:44:07
23200
代码可运行
举报
文章被收录于专栏:锤子代码锤子代码
运行总次数:0
代码可运行

数据库性能下降,亟待解决

背景是甲方缩减服务器配置,没想到把?

我也没想到。

应用服务器还能理解。

缩减数据库服务器配置?没开玩笑??

没开玩笑。

包括内存、硬盘、CPU都不同程度的进行了缩减。

效果也是立竿见影,缩减之后。

数据库处理效率直线下降。

巡查发现,部分表存在历史数据,可以删除,提升一点点效率(虽然不高)。

少量数据删除完美方式

直接DELETE肯定是最省事的。

什么?truncate?

能用我不早就用了吗。。

历史数据需要按条件过滤,意味着truncate用不了。

用不了就用不了把。

delete也凑合能用。

简单粗暴的方案是,直接一条delete语句搞定(假设状态小于0的为历史数据):

代码语言:javascript
代码运行次数:0
运行
复制
delete from xxx where status < 0;

数据量少这个方案可行。数据量上来之后,开始报错。

没办法,只能增加条件:

代码语言:javascript
代码运行次数:0
运行
复制
delete from xxx where status < 0 and start_date_time between '2020-01-01' and '2020-06-30';

勉强能用。

跑了一段时间,挑战来了。

加上日期,日期改成一天都还是异常。

只能另辟蹊径。

上面的方法不适用大数据量,但这个方法比较完美

聪明的办法想不到,笨办法一想一箩筐。

一当接一当,总有一当不踩坑。

因为用的Navicat(不得不说,是真好用),所以想在Navicat上试一下。

不试不知道,一试吓两跳。

步骤挺简单的,一看就会。

  1. 在Navicat中打开表,也可以用打开表(快速);
  2. 左上角,筛选;
  3. 填写条件,先选择左侧的列,然后选择小于,右侧填写0,点应用按钮;
  4. 右下角页码,选择设置,条数改为100000每页,回车;
  5. 筛选出来的数据复制ID(主键)列,到代码编辑器;
  6. (主键为字符串)使用正则表达式,\n替换为',\n'
  7. (主键为数字)使用正则表达式,\n替换为,\n
  8. 拼接上`delete from table id in (刚才的id);`
  9. 在Navicat中去执行。

看起来繁琐,多操作几次就熟悉了。

数据量我这最大可以调到150000条。

150000条删除速度在20秒内,直接用了主键索引比条件筛选快太多了。

优化空间很大,但这个需求没那么频繁,能用凑合用吧。

学会了吗?

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-12-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 锤子代码 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
从MySQL到云数据库,数据库迁移真的有必要吗?
作为一个既踩过 MySQL 分库分表的坑,又主导过云数据库迁移项目的人,我先把结论放这:
帆软BI
2025/08/11
140
巧用外部表备份历史数据(r5笔记第62天)
在很多的系统中,随着时间的推移,都会沉淀大量的历史数据。一般数据量达到一定程度都会考虑使用分区表来处理。根据业务规则,可能有些历史数据隔一段时间就需要做清理了,这个时候历史数据就需要在分区级进行清理。在不同的系统,不同厂商都有不同的实现方案。但是从数据安全角度来说,都需要做备份工作,也是预防万一。 比如说我们存在一个表charge,就可能会有下面的几种分区规则, 一种是按照日期来分区,这样就能够很清楚的定位到哪些天的数据可以清理。 比如 6月9日的充值记录,分区表就为P_20150609,相关的一些分区如下
jeanron100
2018/03/16
7370
SQL优化 21 连击
比如,存储字符串“101”,对于char(10),表示你存储的字符将占10个字节(包括7个空字符),在数据库中它是以空格占位的,而同样的varchar2(10)则只占用3个字节的长度,10只是最大值,当你存储的字符小于10时,按实际长度存储。
公众号: 云原生生态圈
2022/11/02
7550
MySQL数据库快问快答
今天楼主给大家列一下关于数据库几个常见问题的要点,如果大家对其中的问题感兴趣,可以自行扩展研究。
用户6543014
2020/03/18
8120
如何优化MySQL千万级大表,我写了6000字的解读
千万级大表如何优化,这是一个很有技术含量的问题,通常我们的直觉思维都会跳转到拆分或者数据分区,在此我想做一些补充和梳理,想和大家做一些这方面的经验总结,也欢迎大家提出建议。
jeanron100
2019/10/23
2K0
如何优化MySQL千万级大表,我写了6000字的解读
订单数据越来越多,如何优化数据库性能?
“增删改查”都是查找问题,因为你都得先找到数据才能对数据做操作。那存储系统性能问题,其实就是查找快慢问题。
JavaEdge
2023/01/08
1.4K0
订单数据越来越多,如何优化数据库性能?
删库跑路?别怕!PolarDB-X 轻松拯救误删数据的你
在 IT 圈内,“删库跑路”已经成为程序员经常提及的一句玩笑话。虽然是玩笑话,但却反映了数据库内数据对企业的重要性。2020年的“微盟事件”就直接让香港主板上市公司微盟集团的市值一天之内蒸发超10亿元,数百万用户受到直接影响。
用户6543014
2021/08/23
6290
删库跑路?别怕!PolarDB-X 轻松拯救误删数据的你
表的增删改查(MySQL)
CRUD : Create(创建), Retrieve(读取),Update(更新),Delete(删除)
ljw695
2025/05/31
2030
表的增删改查(MySQL)
SQL性能优化的47个小技巧,果断收藏!
3、所有表必须使用Innodb存储引擎 没有特殊要求(即Innodb无法满足的功能如:列存储,存储空间数据等)的情况下,所有表必须使用Innodb存储引擎(mysql5.5之前默认使用Myisam,5.6以后默认的为Innodb)。 Innodb 支持事务,支持行级锁,更好的恢复性,高并发下性能更好。 4、每个Innodb表必须有个主键 Innodb是一种索引组织表:数据的存储的逻辑顺序和索引的顺序是相同的。每个表都可以有多个索引,但是表的存储顺序只能有一种。 Innodb是按照主键索引的顺序来组织表的
路人甲Java
2023/08/29
4770
SQL性能优化的47个小技巧,果断收藏!
Java岗大厂面试百日冲刺 - 日积月累,每日三题【Day4】 —— 数据库1
  本栏目Java开发岗高频面试题主要出自以下各技术栈:Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
陈哈哈
2021/10/13
4520
蔚来汽车 x TiDB丨单表超 20 亿条数据,从 MySQL 到 TiDB 的迁移思考与实践
本文来自 TiDB 社区合肥站走进蔚来汽车——吴记老师的演讲《TiDB 在新能源车企的实践:MySQL 到 TiDB 的迁移思考》。
PingCAP
2024/08/05
3430
蔚来汽车 x TiDB丨单表超 20 亿条数据,从 MySQL 到 TiDB 的迁移思考与实践
MySQL-单表操作
注意:若数据表中含有主键,而主键具有唯一性,所以在数据复制时还要考虑主键冲突的问题
海盗船长
2020/08/27
2.3K0
MYSQL数据库-基本操作
MYSQL数据库-基本操作 零、前言 表的增删改查 一、Create 1、插入 2、更新和替换 二、Retrieve 1、SELECT 查询 2、WHERE 条件 3、结果排序 4、筛选分页结果 三、Update 四、Delete 1、删除数据 2、截断表 五、插入查询结果 六、聚合函数 七、group by 零、前言 本章主要讲解表的基本操作 表的增删改查 CRUD : Create(创建), Retrieve(读取),Update(更新),Delete(删除) 一、Create 创建语法:
用户9645905
2022/11/15
1.2K0
MYSQL数据库-基本操作
SQL优化 21 连击 + 思维导图
比如,存储字符串“101”,对于char(10),表示你存储的字符将占10个字节(包括7个空字符),在数据库中它是以空格占位的,而同样的varchar2(10)则只占用3个字节的长度,10只是最大值,当你存储的字符小于10时,按实际长度存储。
Java小咖秀
2022/09/23
8740
MySQL表的增删查改
values左侧为表中属性,右侧为自定义插入的内容,左右两侧安装顺序是一一对应的,如果顺序不同就会导致类型不同而出错。
每天都要进步呀
2023/10/16
8610
MySQL表的增删查改
测试面试题集-MySQL数据库灵魂拷问
事务是数据库操作的最小工作单元,是作为单个逻辑工作单元执行的一系列操作,这些操作作为一个整体一起向系统提交,要么都执行、要么都不执行,是一组不可再分割的操作集合。
可可的测试小栈
2020/09/29
1.2K0
测试面试题集-MySQL数据库灵魂拷问
【MySQL初阶】表的增删查改(create、retrieve、update、delete)
这里明明给 chinese + math + english 取了别名,怎么在where条件中不能用呢? 这和 select 语句的执行顺序有关:
_小羊_
2025/05/17
3300
【MySQL初阶】表的增删查改(create、retrieve、update、delete)
9.1.MySQL实践@在一个千万级的数据库查寻中,如何提高查询效率
        a. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。          b. 应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在num上设置默认值0,确保表中num列没有null值,然后这样查询: select id from t where num=0
itjim
2019/11/27
2K0
9.1.MySQL实践@在一个千万级的数据库查寻中,如何提高查询效率
在一个千万级的数据库查寻中,如何提高查询效率?
1、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 orderby 涉及的列上建立索引;
用户1655470
2018/10/22
1.9K0
【MySQL基础篇重点】六、表的增删查改
​ 一般来说,数据库的基本操作叫做 CRUD,是一种常见的编程术语,它代表了四个基本的数据库操作:创建(Create)、读取(Read)、更新(Update)和删除(Delete)。这些操作用于对数据库中的数据进行管理。
利刃大大
2025/05/21
1660
【MySQL基础篇重点】六、表的增删查改
推荐阅读
相关推荐
从MySQL到云数据库,数据库迁移真的有必要吗?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验