首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

每日一面 - mysql批量删除大量数据

问题参考自:https://www.zhihu.com/question/440066129/answer/1685329456 ,mysql,一张表里有3亿数据,未分,其中一个字段是企业类型,企业类型是一般企业和个体户...答案为个人原创 假设的引擎是 Innodb, MySQL 5.7+ 删除一条记录,首先锁住这条记录,数据原有的被废弃,记录头发生变化,主要是打上了删除标记。...也就是原有的数据 deleted_flag 变成 1,代表数据删除。但是数据没有被清空,在新一行数据大小小于这一行的时候,可能会占用这一行。这样其实就是存储碎片。...如果 delete 的数据大量数据,则会: 如果不加 limit 则会由于需要更新大量数据,从而索引失效变成全扫描导致锁,同时由于修改大量的索引,产生大量的日志,导致这个更新会有很长时间,锁锁很长时间...由于产生了大量 binlog 导致主从同步压力变大 由于标记删除产生了大量的存储碎片。由于 MySQL 是按页加载数据,这些存储碎片不仅大量增加了随机读取的次数,并且让页命中率降低,导致页交换增多。

2K20

删除MySQL的重复数据

前言一般我们将数据存储在MySQL数据,它允许我们存储重复的数据。但是往往重复的数据是作废的、没有用的数据,那么通常我们会使用数据库的唯一索引 unique 键作为限制。...问题来了啊,我还没有创建唯一索引捏,数据就重复了(我就是忘了,怎么滴)。 那么如何在一个普通的数据删除重复的数据呢?那我用一个例子演示一下如何操作。。。...中最小的自增主键 id令要删除数据 iccId 控制在 1....和 不等于 2.同时删除空的业务主键数据那么便有以下几个查询:/*1、查询中有重复数据的主键*/select rd2.iccId from flow_card_renewal_comparing rd2...做删除的时候会提示不能用查询的结果来做删除操作,这个时候就需要将查询的数据作为一个临时,起别名进行删除啦。

7.2K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 删除数据

    MySQL 删除数据MySQL删除数据是非常容易操作的,但是你在进行删除操作时要非常小心,因为执行删除命令后所有数据都会消失。...语法以下为删除MySQL数据的通用语法:DROP TABLE table_name ;----在命令提示窗口中删除数据mysql>命令提示窗口中删除数据SQL语句为DROP TABLE:实例以下实例删除数据...DROP TABLE kxdang_tbl;Query OK, 0 rows affected (0.8 sec)mysql>----使用PHP脚本删除数据PHP使用 mysqli_query 函数来删除...MySQL 数据。...可以是下列值的任意一个: * MYSQLI_USE_RESULT(如果需要检索大量数据,请使用这个) * MYSQLI_STORE_RESULT(默认)实例以下实例使用了PHP脚本删除数据 kxdang_tbl

    4.3K30

    Mysql删除数据,文件大小不变

    首先明确一个概念,innodb包含两部分,结构定义和数据Mysql8.0以前结构定义存放在.frm为后缀的文件里,而Mysql8.0版本以后允许结构定义放到系统数据,因为结构定义占用的空间很小...,因此我今天主要说是数据, 日常开发,当我们删除一个的的数据的时候,发现空间大小并不会变小,我们要知道为什么会发生这样神奇的事, 参数innodb_file_per_table 数据可以存在共享空间里...总之,经过大量的增删改的都可能存在空洞,所以,如果能把这些空洞去掉,就能达到收缩空间的目的,而重建,就可以达到这样的目的 重建 试想一下,如果我们需要去掉这些空洞,如何做呢,当然你可以建立一个和...我们可以使用下面命令重建,在mysql5.5版本之前,这个命令的执行流程跟我们前面描述的差不多,区别就是这个临时B不需要手动创建,MySql会自动完成转存数据,就换表明,删除旧表的操作 ?...显然上图中最花时间的步骤是往临时插入数据的过程,如果整个过程,有新的数据写入是不被允许的,这个就会造成数据丢失,A不会有数据的更新,这个DDL不是Online的 但是在mysql5.6版本开始引入

    5.1K10

    MySQL删除数据 MySQL清空命令 3种方法

    一、MySQL清空数据命令:truncate SQL语法: truncate table 名 注意: 不能与where一起使用。 truncate删除数据后是不可以rollback的。...二、MySQL删除命令:drop SQL语法: drop table 名; 或者是 drop table if exists 名; 注意: truncate只会清除数据,drop不光清除数据还要删除结构...三、MySQL清空数据内容的语法:delete SQL命令: delete from 名 where id='1'; 或 delete from 名; 注意: delete含义:你要删除哪张数据...delete可以删除一行,也可以删除多行; 如果不加where条件,则是删除所有的数据,这是很危险的!不建议这样做!...总结: 1、当你不再需要该时, 用 drop; 2、当你仍要保留该,但要删除所有数据表记录时, 用 truncate; 3、当你要删除部分记录或者有可能会后悔的话, 用 delete。

    8.1K60

    清空删除mysql

    Mysql清空(truncate)与删除数据(delete)的区别 为某基于wordpress搭建的博客长久未除草,某天升级的时候发现已经被插入了几万条垃圾留言,如果一条条删除那可真是累人的活。...遂考虑直接进入mysql直接清空或者删除数据。 本文记录一下这2种操作模式的区别,目标对象是wp_comments,里面的所有留言均是垃圾留言,均可删除。...然后便有了以下2种方式(进入mysql操作界面后): truncate table wp_comments; delete * from wp_comments; 其中truncate操作的table...这两者都是将wp_comments数据清空,不过也是有区别的,如下: truncate是整体删除(速度较快), delete是逐条删除(速度较慢)。...而delete删除以后,Identity依旧是接着被删除的最近的那一条记录ID加1后进行记录。 如果只需删除的部分记录,只能使用DELETE语句配合where条件。

    8.1K20

    MySQL删除数据、清空命令(truncate、drop、delete 区别)

    一、MySQL清空数据三种方法1.1 清空数据:truncatesql命令#清空多张、库中所有数据truncate table table_name1,table_name2,......、多行、乃至整张每次删除一行,都在事务日志为所删除的每行记录一项,可回滚如果不加where条件,表示删除中所有数据,仅删除数据、保留结构,同时也不释放空间MySQL、Mariadb、PostgreSQL...drop:删除整个,包括结构和数据,释放空间。它是一种DDL操作,但不同于truncate,它会释放所占用的空间。数据删除方式:truncate:删除的所有数据,但不会删除结构。...适用于需要保留结构的情况。delete:删除的特定数据,可以根据条件删除的结构和约束保持不变。适用于需要根据特定条件删除数据的情况。drop:删除整个,包括结构和数据。...delete:执行速度较慢,因为它需要逐行删除数据,并且会生成大量的事务日志,同时也不释放空间。drop:执行速度较快,因为它一次性删除整个

    24.3K14

    MySQL查看数据的重复记录并删除

    数据如下 查看用户名相同的记录 select * from user where username in (select username from user group by username...username,phone) in (select username,phone from user group by username,phone HAVING count(*) >1); 注意:where条件(...删除用户名和手机号都相同的重复记录 DELETE from user where (username,phone) -- 注意:此处一定要加括号,当成联合字段来处理 IN ( --...的记录 SELECT MIN(id) FROM user GROUP BY username,phone HAVING COUNT(1) > 1 ); 上述语句看着是不是应该正常能执行删除掉用户名和手机号都相同的重复记录只保留...实际执行会报如下错误: 1093 - You can’t specify target table ‘user’ for update in FROM clause 含义:不能在同一查询的数据作为同一的更新数据

    10.9K30

    MYSQL删除数据经验总结

    ,作为运维发生问题,第一时间先以解决问题为第一位,所以这里总结一下删除数据的经验。...,如果你线上是MYSQL是在线服务的,这种方法就不可取,会造成INSERT漫长时间过程丢失的数据。...方法2:拆分SQL执行 拆分SQL执行就是把需要删除数据做在线删除,单独按照条件做删除的话会造成锁的情况,会导致数据丢失的情况,所以我们可以把需要删除数据把ID查询出来,然后循环ID列表逐渐删除...1、查询需要删除数据的ID定向到文件 mysql -u'xxx' -p'ooo' db_name -Bse "select id from source_table" >> /data/delete_id.txt...后面准备针对这个大做定期数据规定或者写脚本做定期删除操作,但是删除优化的情况我们后面讨论。

    2.4K20

    MySQL 快速删除大量数据(千万级别)的几种实践方案——附源码

    笔者最近工作遇见一个性能瓶颈问题,MySQL,每天大概新增776万条记录,存储周期为7天,超过7天的数据需要在新增记录前老化。...(1秒左右)的速度删除770多万条数据,单张数据量在4600万上下,优化过程的方案层层递进,详细记录如下: 批量删除(每次限定一定数量),然后循环删除直到全部数据删除完毕;同时key_buffer_size...适用场景:MyISAM Tables Why: MyISAM删除数据维护在一个链表,这些空间和行的位置接下来会被Insert的数据复用。...直接的delete后,mysql会合并索引块,涉及大量内存的拷贝移动;而OPTIMIZE TABLE直接重建索引,即直接把数据块情况,再重新搞一份(联想JVM垃圾回收算法)。...50,建议拷贝所需数据到临时,然后删除,再重命名临时为原,附MySQL如下: INSERT INTO New SELECT * FROM Main WHERE

    7.3K21
    领券