首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MySQLid溢出的故障复盘

问题:MySQL某个id溢出导致某业务block 背景:     tokudb引擎的一个大tb1,存放业务上的机审日志,每天有大量的写入, 并且由于历史原因,这张是int signed 类型的...只需要下面几步: use logdb; select max(id) from tb1;   -- 记录下当前最大的id为 xxxx create table tb2 LIKE tb1;   -- 创建影子表...alter table tb2 modify column id  bigint unsigned not null auto_increment ;   -- 修改新为bigint unsigned...alter table tb2 auto_increment=xxxx+1;  -- 改大新主键起始值 rename table tb1 to tb_archive , tb2 to tb1;...后续优化措施:     增加对id的监控, 见这里 https://blog.51cto.com/lee90/2427912     整理些生产上可能遇到的突发问题,并正对性的制定相关的应急预案

4.8K20

如何在MySQL现有中添加ID

当在MySQL数据库中,ID是一种常见的主键类型,它为中的每一行分配唯一的标识符。在某些情况下,我们可能需要在现有的MySQL中添加ID,以便更好地管理和索引数据。...在本文中,我们将讨论如何在MySQL现有中添加ID,并介绍相关的步骤和案例。图片创建新的ID列添加ID列是在现有中添加ID的一种常见方法。...案例研究:在现有中添加ID假设我们有一个名为customers的,现在我们想要在该中添加ID列以便更好地管理数据。...数据一致性:添加ID列可能需要对现有数据进行更新操作,确保在进行更新之前备份数据,并小心处理可能出现的冲突或错误。结论在本文中,我们讨论了如何在MySQL现有中添加ID。...通过合理地添加ID列,我们可以更好地管理和索引MySQL中的数据,提高数据的查询效率和一致性。请记住,在进行任何操作之前,请备份数据并谨慎处理。

1.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    线上MySQLid用尽怎么办?

    id用完,会怎么样? 图片 定义增值id 定义的增值达到上限后的逻辑是:再申请下一个id时,得到的值保持不变。...InnoDB系统row_id 若你创建的InnoDB未指定主键,则InnoDB会自动创建一个不可见的,6个字节的row_id。...InnoDB里,申请到row_id=N后,就将这行数据写入中;若中已经存在row_id=N的行,新写入的行就会覆盖原有的行。 验证该结论:通过gdb修改系统的row_id。...所以应该在InnoDB中主动创建主键:当id到达上限后,再插入数据时会报主键冲突错误。 毕竟覆盖数据,就意味着数据丢失,影响数据可靠性;报主键冲突,插入失败,影响可用性。...因为MySQL使用了一个唯一数组 图片 给新线程分配thread_id时的逻辑: 图片 总结 每种id有各自的应用场景,在达到上限后的表现也不同: id达到上限后,再申请时它的值就不会改变

    3.9K20

    线上MySQLid用尽怎么办?

    MySQLid都定义了初始值,然后不断加步长。虽然自然数没有上限,但定义了表示这个数的字节长度,计算机存储就有上限。...那id用完,会怎么样? 定义增值id 定义的增值达到上限后的逻辑是:再申请下一个id时,得到的值保持不变。...InnoDB系统row_id 若你创建的InnoDB未指定主键,则InnoDB会自动创建一个不可见的,6个字节的row_id。...所以应该在InnoDB中主动创建主键:当id到达上限后,再插入数据时会报主键冲突错误。 毕竟覆盖数据,就意味着数据丢失,影响数据可靠性;报主键冲突,插入失败,影响可用性。...因为MySQL使用了一个唯一数组 给新线程分配thread_id时的逻辑: 总结 每种id有各自的应用场景,在达到上限后的表现也不同: id达到上限后,再申请时它的值就不会改变,进而导致继续插入数据时报主键冲突错误

    3.2K10

    线上MySQLid用尽怎么办?

    MySQLid都定义了初始值,然后不断加步长。虽然自然数没有上限,但定义了表示这个数的字节长度,计算机存储就有上限。...那id用完,会怎么样? 定义增值id 定义的增值达到上限后的逻辑是:再申请下一个id时,得到的值保持不变。...InnoDB系统row_id 若你创建的InnoDB未指定主键,则InnoDB会自动创建一个不可见的,6个字节的row_id。...所以应该在InnoDB中主动创建主键:当id到达上限后,再插入数据时会报主键冲突错误。 毕竟覆盖数据,就意味着数据丢失,影响数据可靠性;报主键冲突,插入失败,影响可用性。...因为MySQL使用了一个唯一数组 给新线程分配thread_id时的逻辑: 总结 每种id有各自的应用场景,在达到上限后的表现也不同: id达到上限后,再申请时它的值就不会改变

    2.1K20

    id用完怎么

    我们知道mysql中存在很多id,然后不断增长,由于只要给id定义了这个数的字节长度,那么他就有了上限,比如无符号整型(unsigned int)是4个字节,因此他的上限是2^32-1, 定义增值...id 定义的增值达到上限后的逻辑是,在申请下一个id时,得到的值保持不变....8个字节的bigint unsigned InnoDB系统row_id 如果你创建的InnoDB没有指定主键,那么InnoDB会给你创建一个不可见的,长度为6字节的row_id,InnoD维护了一个...,但是如果global_query_id达到上限之后,就会继续从0开始计算,理论上还是会出现同一个binlog有相同的xid,又因为global_querey_id定义为8个字节,的上限是2^64-...thread_id 线程id是我们最常见的一种id,我使用show processlist的第一列计数就是thread_id, thread_id的逻辑很好理解,系统保存一个全局变量thread_id_conuter

    1.1K20

    如果MySQL ID 用完了,怎么办?

    既然有上限,就总有被用完的时候,如果id用完了,怎么办呢?今天就一起来学习下吧。...id 说到id,相信你的第一反应一定是在设计结构的时候自定义一个id字段,那么就有一个问题啦,在插入数据时有可能唯一主键冲、sql事务回滚、批量插入的时候,批量申请增值等原因导致id...但是这个过程有脏读存在,那么这个id就不会是原子性的,存在重复的可能性。 thread_id 其实,线程 id 才是 MySQL 中最常见的一种 id。...结果跟row_id一样,就会覆盖原有记录了。 上面介绍了几种MySQL自身的一些id,其实,实际运用中,我们也可能会选择外部的主键,然后持久化到数据库,以此来代替数据库自身的id。...总结 上面介绍了好几种id,每种 id 有各自的应用场景,在达到上限后的表现也不同: 1、 id 达到上限后,再申请时它的值就不会改变,进而导致继续插入数据时报主键冲突的错误 2、 row_id

    1.2K20

    id用完了怎么

    id用完了怎么办 阅读本文大概需要2分钟 1. 定义id 我们通常会把主键设置成id,主键id的最大值是 (bigint unsigned)。...InnoDB系统row_id 如果创建的使用InnoDB引擎,但是没有指定主键的话。InnoDB会创建一个不可见,长度为6个字节的row_id。...InnoDB维护了一个全局变量dict_sys.row_id,所有无主键的InnoDB,每插入一行数据,会将当前时刻的dict_sys.row_id 赋值给row_id,然后1。...row_id 的上限是 ,row_id 达到上限后,会归0,然后重新循环,则新插入的数据会覆盖之前的数据(如果row_id一致)。 3. InnoDB trx_id trx_id, 事务id。...InnnoDB内部维护max_trx_id全局变量,每次申请trx_id 获取当前的max_trx_id 然后会将max_trx_id 加1。

    1K20

    如果MySQL ID 用完了,该怎么办?

    如果你用过或了解过MySQL,那你一定知道主键了。每个id都是定义了初始值,然后按照指定步长增长(默认步长是1)。...虽然,自然数是没有上限的,但是我们在设计结构的时候,通常都会指定字段长度,那么,这时候id就有上限了。 既然有上限,就总有被用完的时候,如果id用完了,怎么办呢?今天就一起来学习下吧。...id 说到id,相信你的第一反应一定是在设计结构的时候自定义一个id字段,那么就有一个问题啦,在插入数据时有可能唯一主键冲、sql事务回滚、批量插入的时候,批量申请增值等原因导致id...上面介绍了几种MySQL自身的一些id,其实,实际运用中,我们也可能会选择外部的主键,然后持久化到数据库,以此来代替数据库自身的id。下面来说说吧。...总结 上面介绍了好几种id,每种 id 有各自的应用场景,在达到上限后的表现也不同: 1、 id 达到上限后,再申请时它的值就不会改变,进而导致继续插入数据时报主键冲突的错误 2、

    78520

    MySQL replace into导致的id问题

    // MySQL replace into导致的id问题 // 今天线上遇到一个问题,挺有意思,这里记录一下希望对大家有所帮助。...某个中,只有一条记录,发生高可用切换之后,id的值发生了变化,主从的id值不一致,导致数据写入报主键冲突的错误。...DEFAULT CHARSET=utf8 可以看到,中的id是主键,age是唯一索引,我们先插入(2,2)和(3,3)两条数据。...*/; 可以看到,MySQL将replace into的在binlog中保存的格式是update语句,那么update语句本质上不会对增值进行修改,所以就导致了主从的id不一致,这样虽然看着没有什么问题...,从库的id比主库的小,当主从发生切换的时候,这个问题就比较严重了,有些数据写入的时候,就会报错了。

    7.1K20

    MySQL 主键 ID 会用完吗?

    MySQL 主键 ID 会用完吗?...首先我们一般创建 MySQL 数据的时候,大部分情况下会创建一个主键ID 的字段,可能你的建表语句如下: CREATE TABLE IF NOT EXISTS `tb`( `id` INT...所以 在 MySQL ID 是会用完的。那么问题来了,加入他的 ID 用完会发生什么事呢? 我们来验证下。...如果会那么久需要创建 8 字节的 INT 类型了,他的值最大是 2^64-1 那么问题又来了,你说 我有些业务是不需要主键 、不需要编号,我不创建这个字段,就好了,这样想恭喜你 回答错误....总结: ID 用完 会报主键冲突、数据插入失败。 不指定主键、默认创建的 row_id 会 覆盖原有的数据。

    9.5K20

    MySQL ID的几个小问题

    实验 创建 tb0,ID: create table tb0(id int unsigned auto_increment primary key); 插入3条记录: insert into tb0...MySQL 重启后ID从哪儿开始 例如当前中有ID为1,2,3三条记录,把3删除,重启MySQL,新插入记录的ID从哪儿开始? 很多人会认为从4开始,实际是从3开始。...实验 创建 tb1,ID: create table tb1(id int unsigned auto_increment primary key); 添加3条数据记录: insert into...ID增值 = 当前最大ID + 1 在插入新记录时,就已经计算得出了新的ID值 实验 创建 tb2,ID: create table tb2(id int unsigned auto_increment...删除最大ID值对ID值没有影响,但MySQL重启之后有影响,不会使用之前的ID值,而是使用最大ID+1,因为ID值是存在内存中,重启后需要重新计算。 ID用完后就不变了。

    7.9K21

    MySQL 对已存在数据添加 ID 字段

    系统环境:Ubuntu 数据库:MySQL5.7 主要是遗留问题,该本来只是用于分析,同事没有添加id,造成后续在处理时,遇到一些问题,权衡之后,决定对表新增一个id字段(中已经存在大量数据...其他字段省略 ) from 库命.名 where 1=1 -- limit 200 into outfile '/var/lib/mysql-files/all_202106.txt' fields...后面通过设置数据库ID,为每个ID生成唯一标识。...其他字段省略 ); 将修改好的数据直接再导入到新建的数据库(新增ID字段,设置ID),同时注意导入时设置字符编码格式为UTF8mb4,防止出现中文乱码的情况。...至此,对已存在数据库添加ID操作完成。导出,添加行首空字符,再导入MySQL一共花费3个小时左右时间,基本都花费在导出和导入。

    3.5K10

    关于mysqlid的获取和重置

    缺点:获取的不是真正的id,是中最大的Id,如果有删除数据的话,那么该值和id相差比较大。如果有连数据,有可能导致数据错乱。...使用LAST_INSERT_ID函数:select LAST_INSERT_ID() 优点:获取到的是真正的id。 缺点:该函数是与table无关的,永远保留最新插入的增列的id。...使用mysql查询函数:SHOW TABLE STATUS; 优点:能够准确的查到id。而且可以在语句后面加上where语句或者like语句来过滤。...---- mysqlid的重置 使用truncate:truncate table; 说明:使用truncate会删除的数据释放空间,并且重置字id,但不会删除的定义。...也不会清空数据,有可能会出现重复key的可能,所以此方法也只适用于清空之后重置id或者大量删除后修改自id

    11.7K20

    MySQLid超大问题查询 转

    引言 小A正在balabala写代码呢,DBA小B突然发来了一条消息,“快看看你的用户特定信息T,里面的主键,也就是id,都到16亿了,这才多久,在这样下去过不了多久主键就要超出范围了,插入就会失败...查了资料之后,小A得知,原来,mysql主键有个参数innodb_autoinc_lock_mode,他有三种可能只0,1,2,mysql5.1之后加入的,默认值是1,之前的版本可以看做都是0。...id是7   delete from t1 where id in (2,3,4);   -- 此时数据只剩1,5,6了,id还是7   insert into t1 values(2, 106,...上面的例子执行完之后的下一个id是10,你理解对了吗,因为最后一条执行的是一个Mixed-mode inserts语句,innoDB会分析语句,然后分配三个id,此时下一个id就是10了,但分配的三个...删除主键 删除主键,让唯一索引来做主键,这样子基本不用做什么变动,只要确定目前的主键没有实际的用处即可,这样的话,插入删除的时候可能会影响效率,但对于查询多的情况来说,小A比较两种之后更愿意选择后者

    5K20
    领券