mysql 百万数据测试迁移对比

友儿

发布于 2022-09-11 17:17:59

66100

代码可运行

文章被收录于专栏：友儿友儿

运行总次数：0

代码可运行

第一种迁移方案

mysqldump迁移
- mysqldump导出数据库成一个sql文件(快)
- scp命令复制到另一台服务器(快)
- source命令导入数据，cpu跑满(比较耗时)
脚本迁移
- 命令行操作数据库进行数据的导出和导入(比较耗时)

第二种迁移方案

- redis搭建一个“生产+消费”的迁移方案
  - 在源数据服务器上跑一个多线程脚本，并行读取数据库里面的数据，并把数据写入到redis队列
  - 目标服务器作为一个消费者，在目标服务器上也跑一个多线程脚本，远程连接redis，并行读取redis队列里面的数据，并把读取到的数据写入到目标数据库。
  - 可以使用go语言来写迁移脚本，利用其原生的并发特性，可以达到并行迁移数据的目的，提升迁移效率。

第一种迁移方案效率太低，第二种迁移方案编码代价较高

文件迁移

通过mysql的select data into outfile file.txt、 load data infile file.txt into table的命令，以导入导出文件的形式迁移
需要在mysql开启了secure_file_priv选项（可以通过show global variables like '%secure%';查看mysql是否开启了此选项，默认值Null标识不允许执行导入导出命令。通过修改mysql配置项([mysqld])，将secure_file_priv= ）
详细配置

[mysqld]
secure_file_priv=

具体操作

select * from software into outfile '/data/software.txt';                          //导出数据
zip software.zip /tmp/software.txt                                                 //压缩数据
scp software.zip root@ip:/tmp/                                                     //上传数据到新服务器
unzip /tmp/software.zip                                                            //解压数据
//@dummy  不需要的数据字段                                     
load data infile '/tmp/software.txt' into table software(id,uniqueid,name,sub_name,@dummy,@dummy,@dummy,@dummy,appicon,created_at,updated_at);  //导入数据

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

云数据库 SQL Server