首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

mysql源和目标端表行数检查

导数据是很长有的事, 导完了总得检查一下把, 云上有DTS很方便, 但是有的环境只能手动导数据了, 这比较就比较麻烦了, 或者是用户自己导的, 让你检查检查, 总之检查两个库之间表的数据量是很常见的工作...常见的工作做多了就饭, 就写个脚本, py效果更好, 但是不如shell方便(因环境而异). 我分享下脚本检查mysql两库之间数据行数的脚本吧....这个脚本是mysql的, 也可以改一改给pg或者oracle用, 我就不写了哈 1..../bin/env bash #write by ddcw at 2021.06.26 #检查mysql的表数据是否一致, 只检查行数量 #用法, sh $0.sh src_user/src_passowrd...'{print $1}')\033[0m" echo -e "一致的表: ${same_tbale} \t 不一致的表: ${no_same_tbale}" } init_param # echo

96920

如何在MySQL中检查和修复MyISAM表

由于写入不完整,空间不足,MySQL守护程序被杀或崩溃,电源故障等原因,MySQL表可能因各种原因而损坏。 如果MySQL检测到崩溃或损坏的表,则需要先修复它才能再次使用。...本指南将引导您检测崩溃的表以及如何修复MyISAM表。...中查找崩溃的MyISAM表 通常一个表在mysql日志中显示为损坏,为了找到日志的位置,你可以在my.cnf中找到它,或者你可以通过以下方式直接在mysql中查看它: MariaDB [(none)]>...检查所有表的另一种方法是使用mysqlcheck二进制文件 mysqlcheck -A 将检查所有崩溃的表 # mysqlcheck -A  mysql.columns_priv OK  mysql.db...OK 此命令将尝试检查并修复服务器上每个数据库中的所有MySQL表。

2.2K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 崩溃恢复过程分析

    读取两次写页面 MySQL 一旦崩溃,Redo 日志就要去拯救世界了(MySQL 就是它的世界),Redo 日志拯救世界的方式就是把还没来得及刷盘的脏页恢复到崩溃之前那一刻的状态。...如果脏页写入内存缓冲区和 dblwr 文件的程中,MySQL 崩溃了,表空间中对应的数据页还是完整的,下次启动时,不需要用两次写页面修复这个数据页。...如果脏页刷盘时,MySQL 崩溃了,表空间对应的数据页损坏了,下次启动时,应用 Redo 日志到数据页之前,需要用两次写页面修复这个数据页。...,InnoDB 如果发现某个表空间存在对应的 trunc.log 文件,说明这个 undo 表空间在 MySQL 崩溃时正在进行截断操作。...总结 MySQL 崩溃恢复过程的核心工作有 2 点: 对于 MySQL 崩溃之前还没有刷新到磁盘的数据页(也就是脏页),用 Redo 日志把这些数据页恢复到 MySQL 崩溃之前那一刻的状态,这相当于对脏页进行一次刷盘操作

    1.1K10

    Mysql安全检查(下)

    6.修改默认3306端口 描述 避免使用熟知的端口,降低被初级扫描的风险 加固建议 编辑/my.cnf文件,[mysqld] 段落中配置新的端口参数,并重启MySQL服务: port...8.确保没有用户配置了通配符主机名 描述 避免在主机名中只使用通配符,有助于限定可以连接数据库的客户端,否则服务就开放到了公网 加固建议 执行SQL更新语句,为每个用户指定允许连接的host范围。...登录数据库,执行use mysql; ; 执行语句select user,Host from user where Host='%';查看HOST为通配符的用户; 删除用户或者修改用户host字段,删除语句...执行SQL语句: OPTIMIZE TABLE user; flush privileges; 9.确保配置了log-error选项 描述 启用错误日志可以提高检测针对mysql和其他关键消息的恶意尝试的能力...删除测试数据库将减少MySQL服务器的攻击面。

    1.4K20

    MySQL 基线检查项

    MySQL 基线检查项 参考链接: https://github.com/wstart/DB_BaseLine 账号权限基线检查 run_power_test 启动 MySQL 的系统账号 是否单独创建...且 不允许登陆 默认管理员账号是否存在 高级权限账号 是否是必须 系统数据库 MySQL 的高级权限账号 是否必须 具有特定的高级权限账号是否必须 File_priv 文件权限 Process_priv...不受IP限制的账号可登录 空用户的账号 网络连接基线检查 run_network_test 默认端口 是否修改 网络连接方式 是否为 SSL 文件安全基线检查 run_file_test...数据库文件路径 show variables where variable_name = 'datadir' 检查MYSQL命令执行历史记录 ~/.mysql_history 敏感的日志,查询,错误,审计文件...log_bin_basename log_error slow_query_log_file general_log_file audit_log_file relay_log_basename 数据库配置基线检查

    2.1K20

    MySQL崩溃恢复功臣—Redo Log

    Redo log文件是InnoDB用于崩溃恢复(crash recovery)以及组提交(group commit)策略的重要文件,存在于磁盘上。...下面大致讲解下Redo log是怎么做到崩溃恢复以及组提交的。 崩溃恢复 崩溃恢复能力是指InnoDB可以保证数据库在异常崩溃重启后的状态和使用binlog文件恢复出来的数据库状态保持一致。...下面我们从上图4个可能发生异常关闭的时间点来分析InnoDB如何在MySQL启动时做崩溃恢复。...Point B 当服务器启动的时候发现redo log里处于prepare状态的记录,这个时候需要检查binlog是否完整包含此条redo log的更新内容(通过全局事务ID对应),发现binlog中还未包含此事务变更...组提交 上面关于崩溃恢复部分只是讲了写redo log和binlog的步骤,那么一定很疑惑数据是何时被写入到磁盘文件中的呢,这里就要说下InnoDB通过redo log实现的组提交的策略了。

    11.4K101

    --MYSQL MGR 崩溃后的修复和问题查找

    MYSQL 的 GROUP REPLICATION 估计大多数的公司都没有用,即使用也不是在主要的项目和关键的地方。...所以网上相关MYSQL Group Replicaiton 的的修复的东西也不多。赶巧,最近我们的测试系统的 MGR 崩溃了。...我们的MGR 的测试系统是三台MYSQL 5.7.23 + Proxysql 组成的,曾经坏过一台机器(网络原因),但MGR 稳稳的提供数据库服务,这次的崩溃和上次比,没有那么简单。三台机器挂了两台。...在保存了错误日志后,我尝试恢复,主库,重启启动后可以登录,并且再次重新运行命令,一般你要重新来过,最好要知道,崩溃中的那个库时最后的主库,然后在那个主库上操作下面的命令。...后面因为2号机的数据库还是正常的,所以直接resetart 1号MYSQL,下面的图也就是后边备份1号机在备份的时候,和XTRABACKUP PERPARE 的时候异常慢的一个原因。

    2.8K50

    【MySql】表的约束

    表中一定要有各种约束,通过约束,让我们未来插入数据库表中的数据是符合预期的。约束的本质是通过技术收到逼迫程序员插入正确的数据,反过来,站在mysql的视角,凡是插入进来的数据,都是符合数据约束的。...站在正常的业务逻辑中: 如果班级没有名字,你不知道你在哪个班级 如果教室名字可以为空,就不知道在哪上课 所以我们在设计数据库表的时候,一定要在表中进行限制,满足上面条件的数据就不能插入到表中。...一个主键可以被添加到一列,或者多列上 主键;主键所在的列通常是整数类型 创建表的时候直接在字段上指定主键 mysql> create table if not exists test_key (...对于自增长:默认是从1开始插入的,如果默认插入了一个值作为起始值,则从这个起始值加1开始 所以我们在创建表的时候可以给自增长设置一个起始值: mysql> create table t22( -...建立外键的本质其实就是把相关性交给mysql去审核了,提前告诉mysql表之间的约束关系,那么当用户插入不符合业务逻辑的数据的时候,mysql不允许你插入。

    21530

    MySQL表的操作

    collate 校验规则,如果没有指定校验规则,则以所在数据库的校验规则为准 2、创建表的案例 create table users ( id int, name varchar(20) comment...MyISAM; 3、查看表结构 desc 表名 示例: 4、修改表 在项目实际开发中,经常修改某个表的结构,比如字段名字,字段大小,字段类型,表的字符集类型,表的存储引擎等等。...案例: 4.1.在users表中添加两条记录 mysql> insert into users values(1,'a','b','1982-01-04'),(2,'b','c','1984-01- 04...'); 4.2.在users表添加一个字段,用于保存图片路径 mysql> alter table users add assets varchar(100) comment '图片路径' after...(100) | YES | | NULL | | +----------+--------------+------+-----+---------+-------+ 插入新字段后,对原来表中的数据没有影响

    5710

    MySQL表与表之间的关系

    表与表之间的关系 表1 foreign key 表2 则表1的多条记录对应表2的一条记录,即多对一 利用foreign key的原理我们可以制作两张表的多对多,一对一关系 多对多: 表1的多条记录可以对应表...2的一条记录 表2的多条记录也可以对应表1的一条记录 一对一: 表1的一条记录唯一对应表2的一条记录,反之亦然 分析时,我们先从按照上面的基本原理去套,然后再翻译成真实的意义,就很好理解了...1、先确定关系 2、找到多的一方,把关联字段写在多的一方 一对多  多对一或者一对多(左边表的多条记录对应右边表的唯一一条记录)  需要注意的: 1.先建被关联的表,保证被关联表的字段必须唯一。...图片 创建表 书要关联出版社 被关联的表 create table press(id int primary key auto_increment, name char(20)); 关联的表 create...add primary  key(id,avg) 多对多:一个作者可以写多本书,一本书也可以有多个作者,双向的一对多,即多对 关联方式:foreign key+一张新的表 示例: 图片 图片 创建表 =

    3.6K10

    【MYSQL】表的约束

    '学号', name varchar(5) ); 创建好表之后,我们可以追加主键 2.删除主键 alter table 表名 drop primary key; 案例: 3.复合主键 在创建表的时候...索引: 在关系数据库中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结 构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。...索引的作用相当于图书的目录,可以根据目录中的页码快速找到所需的内容。 索引提供指向存储在表的指定列中的数据值的指针,然后根据您指定的排序顺序对这些指针排序。...这样可以使对应于表的SQL语句执行得更快,可快速访问数据库表中的特定信息 七、唯一键 一张表中有往往有很多字段需要唯一性,数据不能重复,但是一张表中只能有一个主键:唯一键就可以解决表中有多个字段需要唯一性约束的问题...;插入的学生班级号不能在班级表中没有。

    25340

    MySQL:表的约束

    表的约束和约束的目标 表的约束:表中一定要有各种约束,通过约束,让我们未来插入数据库中的数据是符合预期的。约束本质是通过技术手段,倒逼程序员,插入正确的数据。...反过来,站在MySQL角度,凡是插入进来的数据,都是符合数据约束的! 约束的最终目标:保证数据的完整性和可预期性。 二....而如果为我们没有在创建表的时候显示声明默认值,MySQL会优化,自动加上默认值为NULL。 四....zerofill 对数字类型后面的长度很迷茫,对于下面这个表: mysql> show create table tt3\G ***************** 1. row ************...这样插入一个并不属于class表的班级编号的时候,就会报错。 并且如果从表中对应的还有数据,是不能在主表中删除的。

    6710

    【MySQL】表的约束

    表的约束 表的约束:表中一定要有各种约束,通过约束,让我们未来插入数据库表中的数据是符合预期的。约束本质是通过技术手段,倒逼用户,插入正确的数据。...反过来,在 mysql 角度,凡是插入进来的数据,都是符合数据约束的!约束的最终目的就是保证数据的完整性和可预期性。因此我们需要更多的约束条件!...的值由原来的 1 变成 00001,这就是 zerofill 属性的作用,如果宽度小于设定的宽度(这里设置的是 5),自动填充 0;要注意的是,这只是最后显示的结果,在 MySQL 中实际存储的还是1...再插入 stu 表: 但是此时这两张表是两张独立的表,它们只有对应的关联关系,并没有任何的约束关系。...建立外键的本质其实就是把相关性交给 mysql 去审核了,提前告诉 mysql 表之间的约束关系,那么当用户插入不符合业务逻辑的数据的时候,mysql 不允许你插入。

    15510
    领券