前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >MySQL GTID复制Slave跳过错误事务ID

MySQL GTID复制Slave跳过错误事务ID

作者头像
星哥玩云
发布2022-08-16 15:37:40
发布2022-08-16 15:37:40
1.3K0
举报
文章被收录于专栏:开源部署开源部署

背景:安装完master之后,修改root密码的时候忘了关闭binlog,导致update MySQL.user表的时候记录了binlog

开启GTID的复制后,直接报错: Could not execute Update_rows event on table mysql.user; Can't find record in 'user', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log binlog.000002, end_log_pos 744

网上有非常多的跳过GTID复制报错的文章, 当然GTID复制报错的原因有两种: 一种是数据不一致引起的(主库事物在从库上找不到对应数据,或者是数据主键冲突,索引冲突之类的) 另一种是主库上事物日志被清理,从库找不到主库的要重放的事物日志引起的(Got fatal error 1236 from master when reading data from binary log:) 显然这里是因为数据不一致引起的错误,最主要的是如何找到引起复制错误的事物号,然后跳过这个事物? 之前注意过这个细节问题,这次果然又遇到了。

如何找到造成复制错误对应的事物Id?

对于slave status中的信息,注意如下两行 Retrieved_Gtid_Set: 6d257f5b-5e6b-11e8-b668-5254003de1b6:1-547 Executed_Gtid_Set: Retrieved_Gtid_Set是slave接收到的事务的信息, Executed_Gtid_Set是slave已经执行的slave的信息,这里没有任何信息,意味着复制的时候从库遇到主库的第一个事物Id就发生了错误 也就是说第一个事务复制就不能执行,为什么第一个事务就无法正常复制,按道理,跳过 6d257f5b-5e6b-11e8-b668-5254003de1b6:1就可以的。

从复制报错来看,如下,说的是:Can't find record in 'user' ****   Last_Errno: 1032   Last_Error: Could not execute Update_rows event on table mysql.user; Can't find record in 'user', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND;inlog.000002, end_log_pos 744   Skip_Counter: 0   Exec_Master_Log_Pos: 154

然后使用mysqlbinlog 解析主库上的binlog信息 如下是执行mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS binlog.000002 的结果

mysql> stop slave; Query OK, 0 rows affected (0.00 sec)

mysql> exit Bye [root@tencent01 mysql8000binlog]# mysqlbinlog --no-defaults -v -v --base64-output=DECODE-ROWS binlog.000002 /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/; /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/; DELIMITER /*!*/; # at 4 #180523 17:26:57 server id 8000  end_log_pos 123 CRC32 0x7a72d0c2      Start: binlog v 4, server v 5.7.20-log created 180523 17:26:57 at startup ROLLBACK/*!*/; # at 123 #180523 17:26:57 server id 8000  end_log_pos 154 CRC32 0x1e585b38      Previous-GTIDs # [empty] # at 154 #180523 17:27:08 server id 8000  end_log_pos 219 CRC32 0xcf9ed3c3      GTID    last_committed=0        sequence_number=1      rbr_only=yes /*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/; SET @@SESSION.GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:1'/*!*/; # at 219 #180523 17:27:08 server id 8000  end_log_pos 287 CRC32 0x5ca28a69      Query  thread_id=5    exec_time=0    error_code=0 SET TIMESTAMP=1527067628/*!*/; SET @@session.pseudo_thread_id=5/*!*/; SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/; SET @@session.sql_mode=1436549152/*!*/; SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/; /*!\C utf8mb4 *//*!*/; SET @@session.character_set_client=45,@@session.collation_connection=45,@@session.collation_server=45/*!*/; SET @@session.lc_time_names=0/*!*/; SET @@session.collation_database=DEFAULT/*!*/; BEGIN /*!*/; # at 287 #180523 17:27:08 server id 8000  end_log_pos 459 CRC32 0xf4845b1b      Table_map: `mysql`.`user` mapped to number 4 # at 459 #180523 17:27:08 server id 8000  end_log_pos 744 CRC32 0x74306d73      Update_rows: table id 4 flags: STMT_END_F ### UPDATE `mysql`.`user` ### WHERE ###  @1='localhost' /* STRING(180) meta=65204 nullable=0 is_null=0 */ ###  @2='root' /* STRING(96) meta=65120 nullable=0 is_null=0 */ ###  @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @4=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @5=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @6=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @7=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @8=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @9=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @10=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @11=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @12=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @13=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @14=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @15=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @16=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @17=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @18=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @19=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @20=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @21=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @22=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @23=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @24=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @25=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @26=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @27=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @28=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @29=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @30=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @31=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @32=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @33='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */ ###  @34='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */ ###  @35='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */ ###  @36=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @37=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @38=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @39=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @40='mysql_native_password' /* STRING(192) meta=65216 nullable=0 is_null=0 */ ###  @41='' /* BLOB/TEXT meta=2 nullable=1 is_null=0 */ ###  @42=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @43=1527067612 /* TIMESTAMP(0) meta=0 nullable=1 is_null=0 */ ###  @44=NULL /* SHORTINT meta=0 nullable=1 is_null=1 */ ###  @45=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ### SET ###  @1='%' /* STRING(180) meta=65204 nullable=0 is_null=0 */ ###  @2='root' /* STRING(96) meta=65120 nullable=0 is_null=0 */ ###  @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @4=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @5=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @6=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @7=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @8=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @9=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @10=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @11=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @12=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @13=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @14=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @15=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @16=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @17=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @18=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @19=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @20=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @21=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @22=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @23=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @24=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @25=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @26=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @27=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @28=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @29=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @30=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @31=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @32=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @33='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */ ###  @34='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */ ###  @35='' /* BLOB/TEXT meta=2 nullable=0 is_null=0 */ ###  @36=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @37=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @38=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @39=0 /* INT meta=0 nullable=0 is_null=0 */ ###  @40='mysql_native_password' /* STRING(192) meta=65216 nullable=0 is_null=0 */ ###  @41='*81F5E21E35407D884A6CD4A731AEBFB6AF209E1B' /* BLOB/TEXT meta=2 nullable=1 is_null=0 */ ###  @42=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ ###  @43=1527067612 /* TIMESTAMP(0) meta=0 nullable=1 is_null=0 */ ###  @44=NULL /* SHORTINT meta=0 nullable=1 is_null=1 */ ###  @45=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */ # at 744 #180523 17:27:08 server id 8000  end_log_pos 813 CRC32 0xd3a07e78      Query  thread_id=5    exec_time=0    error_code=0 SET TIMESTAMP=1527067628/*!*/; COMMIT /*!*/; # at 813 #180523 17:27:08 server id 8000  end_log_pos 878 CRC32 0x6451705b      GTID    last_committed=1        sequence_number=2      rbr_only=no SET @@SESSION.GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:2'/*!*/; # at 878 #180523 17:27:08 server id 8000  end_log_pos 965 CRC32 0x7451238c      Query  thread_id=6    exec_time=0    error_code=0 SET TIMESTAMP=1527067628/*!*/; /*!\C utf8 *//*!*/; SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=45/*!*/; SET @@session.time_zone='SYSTEM'/*!*/; flush privileges /*!*/; # at 965 #180523 17:27:08 server id 8000  end_log_pos 988 CRC32 0x108e7f09      Stop SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/; DELIMITER ; # End of log file /*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/; /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/; [root@tencent01 mysql8000binlog]#

不难理解,在master安装之后,第一时间修改了root的密码,那么修改root密码应该是第一个事务, 因此到了slave上,第一个事务就是无法执行的,为什么系统表(mysql.user)不允许复制事务?这一点先抛开, 如何在binlog中确认是哪一个事务Id? 上面说的是 Exec_Master_Log_Pos: 154,end_log_pos 744,也就是在这个偏移量之间的事务是导致slave无法复制的,这个事务Id正式1,也即GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:1' 这里涉及利用Exec_Master_Log_Pos和end_log_pos 找事物Id的问题,从名字大概能猜到是这两个偏移量之间的一个事物Id 这两个偏移量之间的事物Id,也就是 '6d257f5b-5e6b-11e8-b668-5254003de1b6:1' 笔者一开始是找end_log_pos 744后面的事物Id,也即事物2,然后在从库设置跳过,怎么也不行。

对于数据冲突之列的复制错误,至于跳过事物Id本身,就不复杂了。

(1)停止slave进程 mysql> STOP SLAVE; (2)设置事务号,事务号从Retrieved_Gtid_Set获取 在session里设置gtid_next,即跳过这个GTID mysql> SET GTID_NEXT= '6d257f5b-5e6b-11e8-b668-5254003de1b6:1' (3)设置空事物 mysql> BEGIN; COMMIT; (4)恢复事物号 mysql> SET SESSION GTID_NEXT = AUTOMATIC; (5)启动slave进程 mysql> START SLAVE; 跳过一个事务之后,重启slave,恢复正常

稍等几秒钟,从库很快就追上主库了。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档