首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MySQLinsert阻塞问题分析

这是一套MySQL 5.7.16环境,事务隔离级别为RR 等我连接到这套环境时候,show processlist输出已经恢复了正常,查看相关数据库日志也没有任何额外输出,查看慢日志发现了有一部分慢日志...,提示是在insert into语句,看起来着实蹊跷,计。...同时整个操作涉及表也很明显,是device_confignew_clientup,和慢日志里面显示表和信息是可以互相呼应。...顺着这个思路,我继续进行排查,发现问题是越来越清晰了,我基于一个字段开始梳理,发现这个编码数据相关Insert有5000多条,也就意味着这个业务里面存在着大量冗余数据写入。...业务服务器会不断发起短连接请求,整个过程是无状态,发起数据写入很可能是冗余,为了在数据库达到唯一性,设置了这个唯一性索引,而业务持续不断写入,因为唯一性索引会额外有检测数据库冲突逻辑,所以相关

1.8K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MysqlINSERT ... ON DUPLICATE KEY UPDATE

    一、前言 在日常业务开发中经常有这样一个场景,首先创建一条记录,然后插入到数据库;如果数据库已经存在同一主键记录,则执行update操作,如果不存在,则执行insert操作; 这个操作可以在业务层做,...(这里说主键不是递增主键)冲突而失败。...数据库层mysqlINSERT ... ON DUPLICATE KEY UPDATE就可以做这个事情,并且是原子性操作 二、INSERT ......c=c+1; 如上sql假如t1表主键或者UNIQUE 索引是a,那么当执行上面sql时候,如果数据库里面已经存在a=1记录则更新这条记录c字段值为原来值+1,然后返回值为2。...2.2多记录下使用 INSERT INTO t1 (a,b,c) VALUES (1,2,3),(4,5,6) ON DUPLICATE KEY UPDATE c=VALUES(c);

    1.7K20

    MySQL INSERT 是怎么加锁

    来源:https://www.aneasystone.com/archives/2018/06/insert-locks-via-mysql-source-code.html 在之前博客,我写了一系列文章...很显然,如果我们能在 insert 语句加插入意向锁之后写数据之前下个断点,再在另一个会话执行 select 就可以模拟出这种场景了。 那么我们来找下 insert 语句是在哪加插入意向锁。...第一次看 MySQL 源码可能会有些不知所措,调着调着就会迷失在深深调用层级,我们看 insert 语句调用堆栈,一开始时还比较容易理解,从 mysql_parse -> mysql_execute_command...到这里我突然想起之前做过 insert 加锁实验,执行 insert 之后,如果没有任何冲突,在 show engine innodb status 命令是看不到任何锁,这是因为 insert...这个锁释放非常快,但是这个锁足以保证在插入数据过程其他事务无法访问记录所在页。

    10.8K51

    MysqlINSERT ... ON DUPLICATE KEY UPDATE实践

    一、前言 在日常业务开发中经常有这样一个场景,首先创建一条记录,然后插入到数据库;如果数据库已经存在同一主键记录,则执行update操作,如果不存在,则执行insert操作; 这个操作可以在业务层做,...数据库层mysqlINSERT ... ON DUPLICATE KEY UPDATE就可以做这个事情,并且是原子性操作,本文就来讲解使用。 二、INSERT ......下使用 Mybatis作为经典数据库持久层框架,自然要介绍下它下使用 在mapper.xml里面配置如下: 假设a为主键 ...int c; ... } 注:mysqlsql字符串大小有限制,我本机mysql上执行show VARIABLES like '%max_allowed_packet%';结果为max_allowed_packet...image.png 四、参考 https://dev.mysql.com/doc/refman/5.7/en/insert-on-duplicate.html

    2.3K30

    MySQLINSERT INTO SELECT语法及其用法详解

    当今数据库管理系统在数据存储和检索方面起着关键作用,而MySQL作为最受欢迎开源关系型数据库管理系统之一,提供了许多强大功能。...在MySQLINSERT INTO SELECT语法是一种非常有用功能,可以将查询结果直接插入到目标表。本文将介绍MySQLINSERT INTO SELECT语法及其用法。...什么是INSERT INTO SELECT语法? INSERT INTO SELECT语法允许我们从一个表中选择数据,并将其插入到另一个表。...这个功能非常适用于需要从一个表复制数据到另一个表情况,或者将查询结果存储到新。...INSERT INTO SELECT语法基本语法格式 下面是INSERT INTO SELECT语法基本语法格式: INSERT INTO 目标表 (列1, 列2, 列3, ...)

    8.6K30

    MySQL优化INSERT性能

    这种费时操作其实是很有风险,假设程序出了问题,想重跑操作那是一件痛苦事情。因此,提高大数据量系统MySQL insert效率是很有必要。 1. 一条SQL语句插入多条数据。...COMMIT; 使用事务可以提高数据插入效率,这是因为进行一个INSERT操作时,MySQL内部会建立一个事务,在事务内进行真正插入处理。...从测试结果可以看到,insert效率大概有50倍提高,这个一个很客观数字。 注意事项: 1....SQL语句是有长度限制,在进行数据合并在同一SQL务必不能超过SQL长度限制,通过max_allowed_packet配置可以修改,默认是1M。 2....事务需要控制大小,事务太大可能会影响执行效率。MySQL有innodb_log_buffer_size配置项,超过这个值会日志会使用磁盘数据,这时,效率会有所下降。

    1.8K40

    mysql insert into as_mysql insert into select使用方法详解

    mysql insert into select使用方法详解2017-11-22 15:47 我们先来看看mysql insert into select语法规则。...DELAYED被忽略INSERT … SELECT。 该INSERT语句目标表可能出现在查询部分FROM子句中SELECT。但是,不能插入到表并从子查询同一个表中进行选择。...在从同一个表中选择并插入时,MySQL创建一个内部临时表来存放来自这些表行SELECT,然后将这些行插入到目标表。...为避免SELECT在INSERT引用同一个表时引用不明确列引用问题 , 请为该SELECT部分中使用每个表提供唯一别名,并使用适当别名限定该部分列名。...由于这个问题,在MySQL 5.5.18INSERT…SELECT ON DUPLICATE KEY UPDATE和INSERT IGNORE… SELECT语句被标记为不安全基于语句复制。

    1.9K30

    MySQL插入语句(Insert)几种使用方式

    注意:insert这种简写方式虽然非常简单,但是Values后面的值必须和表类顺序对应,且类型要保持一直,即使表某一个列不需要值也必须赋值为null,比如我们主键id设置是递增实际上是不用设置值...推荐使用原因**:这一次我们设置了没有给id赋任何值包括null,而且不用关心表字段顺序,比如下面不按照正常顺序添加,我们将age放在第一,name放在第二个.也能添加成功;需要注意是表名后面的字段名必须和后面...values赋值保持一致;实际开发在维护和扩张方面都比方案一要好. ?...6.INSERT SELECT语句 1.此语句作用是将SELECT语句结果插入表,可实现数据迁移。...查看被插入所有数据 ? 执行INSERT SELECT语句并查看结果 ?

    2.3K30

    关于MySQLinsert ignore,insert on duplicate和replace into,你可能没想过区别

    读完需要10分钟 速读仅需5分钟 在数据流转或者日常数据操作,势必会有数据写入过程,如果把一些数据写入一张数据库表,如果写入量有100万,而重复数据有90万,那么如何让这10%数据能够更高更高效写入...在MySQL方向提供了Insert ignore into,insert into on duplicate,replace into这几种写入方式,看起来好像都差不多,但是实际上在一些场景下差异还比较大...相比而言,replace into和insert into on duplicate存在本质区别,replace into是覆盖写,即删除原来,写入新。...insert ignore into 在这种场景下最为通用,而且对于数据侵入性最小。...否则采用insert into on duplcate或者insert ignore into 2 基于id,xid,name数据列,其中id为主键,自增,xid为唯一性索引 为了三种测试场景基准对等

    2.4K31

    mysql update,insert常用

    ,将表数据插入到另一个表 insert ignore忽略重复数据插入报错问题 ---- update更新,batch批量更新 ---- set sql_safe_updates=0; # 常规update...update springdemo.users set pwd=nickname where id=id; 下面给一个stack overflow,按照条件批量更新示例: 将id=1字段赋值为...insert 数据到表,将表数据插入到另一个表 ---- 基本插入示例: INSERT INTO tb_name(col1, col2) VALUES ("hyq","M"); # 例如 insert...into teacher(name, age) values('jack ma', 32); 工作,往往我们要把一个表数据插入到另一张表INSERT INTO tb_al_sample...---- 当表存在唯一索引时,如果插入相同值,mysql会报错,所以我们一般使用: insert ignore into tb_name (title, introduction) VALUES

    3.4K30

    MySQL insert or update sql

    MySQL 一条 sql 实现数据保存变更 insert or update ,如果没有执行insert,有就update 需要 有主键 PRIMARY 或 唯一索引 UNIQUE MySQL...INSERT … ON DUPLICATE KEY UPDATE语句,该语句是基于唯一索引或主键使用 ON DUPLICATE KEY UPDATE后面可以放多个字段,用英文逗号分割。...使用ON DUPLICATE KEY UPDATE,最终如果插入了一个新行,则受影响行数是1,如果修改了已存在一行数据,则受影响行数是2,如果值不变,则受影响行数是0。...=语句格式写入二进制日志不安全语句。...插入……对于具有多个唯一密钥重复密钥更新是不安全 相关博客:https://blog.csdn.net/rick_zyl/article/details/79024612 mysql 有就更新

    2.7K20

    MySQL INSERT4种形态

    INSERT语句是最常见SQL语句之一,MySQLINSERT有其他形态插入数据方式。...所以这样写法对数据安全性是没有保障。 延迟插入和替换在MySQL 5.6是不推荐。在MySQL 5.7,MySQL 8.0,不支持延迟。...IGNORE: insert ignore表示,如果已经存在相同记录,则忽略当前新数据,主键和唯一键为基准; mysql> insert ignore tinsert(id,name) values...注意:当从同一个表中选择和插入时,MySQL创建一个内部临时表来保存SELECT行,然后将这些行插入到目标表。...在实际sysbench压测,硬件配置比较好情况,混合&插入模式下 MySQL单台TPS能到 1w~6w性能。insert也是有极限,超过这个范围时候,会存在延迟等性能瓶颈。 2.

    1.5K20

    MySQLinsert into select 引发锁表

    MySQL一般我们在生产上备份数据通常会用到 这两种方法: INSERT INTO SELECT CREATE TABLE AS SELECT 注:本文仅针对MySQL innodb引擎,事务是可重复读...…必须包括主键 在执行语句时候,MySQL是逐行加锁(扫描一个锁一个),直至锁住所有符合条件数据,执行完毕才释放锁。...`,`c` from t; -- 创建一个表结构与t一模一样表,复制结构同时也复制数据,但是指定新表列名; 后面两种格式,如果后面跟上合适查询条件,可以只复制符合条件数据到新。...因此从MySQL5.5版本开始引入了MDL锁,来保护表元数据信息,用于解决或者保证DDL操作与DML操作之间一致性。 注意: 新表不会自动创建创建和原表相同索引。...(即复制表索引会消失) 3 .区别 首先,最大区别是二者属于不同类型语句,INSERT INTO SELECT 是DML语句(数据操作语言,SQL处理数据等操作统称为数据操纵语言),完成后需要提交才能生效

    2.1K10
    领券