首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MySQL大批量数据

MySQL大批量数据 目录 1、前言 2、什么是存储过程 3、存储过程批量造数据 1、前言 有时候往数据库里批量造数据,是为了某些测试前的必要条件。...一般批量造数据有以下几种方式: 1、通过接口请求方式批量造数据 2、开发脚本(Java、Python等)进行批量造数据 3、使用 Jmeter 的 MySQL 脚本发起批量造数据 4、通过 MySQL...的存储过程造数据 本篇采用 MySQL 的存储过程方式来进行批量造数据。...3、统一接口,确保数据的安全。 3、存储过程批量造数据 使用 MySQL 客户端工具(例如 HeidiSQL)连接数据库。 可以看到 my_test 库的 student 表,目前有6条数据。...存储过程执行完成,查询表数据,结果如下,新增10条数据

1.8K00
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    记一次大批量物理删除数据

    背景是,同步闹钟的时候会把用户之前删除过的闹钟都同步下来,而删除的闹钟在客户端没有任何显示,也没有任何恢复的操作,对于用户来说其实是完全没有用的数据。...最后决定将数据库中2018年以前用户无用的闹钟进行删除,找到dba同学商量要删除数据,但是很不幸,dba同学告知我们目前他们没有成熟的工具操作,让我们自己写程序删除,他们可以负责备份数据。...一、思路分析 需要进行删除的这张表是一个很宽的数据量很大的表,当前共有七千多万条数据,经过筛选查询,发现2018年之前且状态为无效的闹钟数量达到了五千多万,也就是说现在需求是要物理删除这五千多万条数据...要删除的五千多万条数据如何定位? 怎样高效地删除这么大量的数据同时保证负载正常? 怎样保证集群环境下,删除任务只执行一次? 我们分别看一下解决这些问题的思路。...一共删除了58115102条数据,至此这次删除历史数据的任务完成。 第一次在线上物理删除这么大量的数据,仅此记录一下本次处理的思路和实现方法。

    93250

    MySQL-大批量数据如何快速的数据迁移

    MySQL-大批量数据如何快速的数据迁移 背景:最近接触到一个诊所的项目,主要做二次开发,由于甲方没法提供测试数据库(只有生产环境),且二次开发还是基于之前的数据库结构,给了数据库文档和生产库数据地址。...由于生产库数据量比较大,我们也没法直接在生产库下二次开发(胆小),我们打算从生产库环境下迁移需要用到表导入自己的开发环境下,迁移的是表结构和表中数据,大概一个表在400M左右(300万条数据),全是InnoDB...由于我们测试环境也没要求非得多快的查询数据,所以当SQL表结构中存在索引,我们可以考虑将索引删除,要是需要考虑到性能的话,也可以先删除,等导入过后再重新进行索引的创建。 ? 3....到这里我们已经修改多值插入、删除索引、改完存储引擎,准备好SQL文件后直接在MySQL中执行会执行不了,会抛出ERROR : (2006, 'MySQL server has gone away')错误...到这里基本已经完成了大数据的迁移工作,这个时候我们通过如下数据得到结论。

    2.3K31

    MySQL 大批量插入,如何过滤掉重复数据

    线上库有6个表存在重复数据,其中2个表比较大,一个96万+、一个30万+,因为之前处理过相同的问题,就直接拿来了上次的Python去重脚本,脚本很简单,就是连接数据库,查出来重复数据,循环删除。...By 重复字段 Having Count(1)>1) 删除全部重复数据,一条不留 直接删除会报错 DELETE FROM student WHERE NAME IN ( SELECT NAME...mysql不支持这种更新查询同一张表的操作 解决办法:把要更新的几列数据查询出来做为一个第三方表,然后筛选更新。...,仅保留一条 在删除之前,我们可以先查一下,我们要删除的重复数据是啥样的 SELECT * FROM student WHERE id NOT IN ( SELECT t.id FROM...,那么再查询出id不在这里面的,就是我们要删除的重复数据

    1.4K20

    MySQL 大批量插入,如何过滤掉重复数据

    线上库有6个表存在重复数据,其中2个表比较大,一个96万+、一个30万+,因为之前处理过相同的问题,就直接拿来了上次的Python去重脚本,脚本很简单,就是连接数据库,查出来重复数据,循环删除。...By 重复字段 Having Count(1)>1) 删除全部重复数据,一条不留 直接删除会报错 DELETE FROM student WHERE NAME IN ( SELECT NAME...mysql不支持这种更新查询同一张表的操作 解决办法:把要更新的几列数据查询出来做为一个第三方表,然后筛选更新。...,仅保留一条 在删除之前,我们可以先查一下,我们要删除的重复数据是啥样的 SELECT * FROM student WHERE id NOT IN ( SELECT t.id FROM...,那么再查询出id不在这里面的,就是我们要删除的重复数据

    16110

    MySQL 大批量插入,如何过滤掉重复数据

    线上库有6个表存在重复数据,其中2个表比较大,一个96万+、一个30万+,因为之前处理过相同的问题,就直接拿来了上次的Python去重脚本,脚本很简单,就是连接数据库,查出来重复数据,循环删除。...By 重复字段 Having Count(1)>1) 删除全部重复数据,一条不留 直接删除会报错 DELETE FROM student WHERE NAME IN ( SELECT NAME...mysql不支持这种更新查询同一张表的操作 解决办法:把要更新的几列数据查询出来做为一个第三方表,然后筛选更新。...,仅保留一条 在删除之前,我们可以先查一下,我们要删除的重复数据是啥样的 SELECT * FROM student WHERE id NOT IN ( SELECT t.id FROM...,那么再查询出id不在这里面的,就是我们要删除的重复数据

    95320

    MySQL删除数据

    删除数据库是指在数据库系统中删除已经存在的数据库。数据删除之后,原来分配的空间将被收回。需要注意的是,数据删除之后该数据库中所有的表和数据都将被删除。因此删除数据库要特别小心。...一、通过SQL语句   MySQL中,删除数据库通过SQL语句DROP DATABASE。其语法格式如下: DROP DATABASE 数据库名;   其中“数据库名”为要删除数据库的名称。...下面删除我的系统中的名为test的数据库: $ mysql -u root -p Enter password: mysql> SHOW DATABASES; +-------------------...(0.00 sec)   上述结果显示第一次通过SHOW DATABASES;指令查看数据库的时候test数据库是存在的,通过指令DROP DATABASE test;删除test之后,再查看test...上述删除数据库的代码,在数据库不存在的时候会报错,下面代码对数据库是否存在做了判断,在数据库不存在的时候会报警告: mysql> DROP DATABASE IF EXISTS test; Query

    6.1K30
    领券