首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >MySQL同步实践:全量、增量与CDC验证

MySQL同步实践:全量、增量与CDC验证

原创
作者头像
用户1433896
发布于 2026-11-13 21:45:43
发布于 2026-11-13 21:45:43
1130
举报

我用两张 MySQL 订单表做了一次同步实验,重点观察三种行为:存量能否完整复制,字段增量会读取哪些记录,CDC 能否传递更新和物理删除。操作工具是 DataMover,下面记录任务配置、源端 SQL 和目标端的实际变化。

这次我准备了两张同结构的小表:一张演示普通全量和字段增量,另一张演示 CDC 首次快照、新增、修改、删除,以及停止后继续同步。数据量很小,目的是看清每种配置的行为。

操作从系统首页进入,后面用到左侧“数据源”和“任务管理”两个入口。

DataMover 系统首页,左侧为数据源和任务管理入口
DataMover 系统首页,左侧为数据源和任务管理入口

我先把三种同步方式分开

我想确认的是下面三件事,所以没有让两条任务同时写同一张表:

方式

这次的配置

我关注的结果

普通全量

一次性读取 orders_batch

现有 3 条订单能否完整到达目标库

普通字段增量

沿用普通任务,按 order_id 继续查询

保留历史数据,只补入新订单 1004

CDC 实时任务

独立订阅 orders_cdc,先快照再读 binlog

新增、修改、物理删除,以及停止后的变更能否同步

普通数据库任务有一个容易混淆的地方:增量字段和目标端的匹配键不是一回事。

在这次 MySQL 写入配置中,目标端按主键识别记录,存在则更新,不存在则插入。但只有先被源端读取到的记录,才会进入这个写入过程。按自增 ID 查询时,旧订单修改了状态,ID 没变,就不会因为目标端支持更新而自动再被读取。

如果业务有更新需求,我会优先考虑可靠维护的更新时间字段:新增、修改都刷新它,再检查字段精度和增量边界。自增 ID 更适合只追加数据;这次先用 ID 演示,比较容易观察新增的一行。

还有一个明确的边界:普通任务不能同步源端的物理删除。 记录删掉以后,字段增量查询就读不到它,无法据此通知目标库删除。需要连续传递增删改时,就要看 CDC。

环境和演示表怎么准备

这次操作使用的是已部署的 DataMover v1.0.0 实例和 MySQL 8.0.25,源库、目标库放在同一个 MySQL 实例里。换成两台 MySQL,后面的配置思路相同。本文两条单表任务也可以使用永久免费社区版复现。

如果从零开始搭环境,可以先准备 Docker,再使用一键安装命令。Linux 或 macOS 的终端命令是:

代码语言:bash
复制
bash -c "$(curl -fsSL https://down.datamover.cn/install.sh)"

Windows 使用 PowerShell 时,对应的命令是:

代码语言:powershell
复制
Set-ExecutionPolicy Bypass -Scope Process -Force; irm https://down.datamover.cn/install.ps1 | iex

脚本自动下载、解压并部署,启动后按终端输出的地址进入管理页面。也可以选择下载安装包,在主机上按 Linux 或 Windows 安装说明配置启动。本文从已经能够登录管理页面开始,不重复展开部署过程。

我单独创建了两个演示库,目标库先不建表,让任务按字段映射创建:

角色

库名

表

源端

dm_demo_source

orders_batch、orders_cdc

目标端

dm_demo_target

任务创建同名表

初始化 SQL 如下。复现时使用自己的独立测试库,不要与业务表混用。

代码语言:sql
复制
CREATE DATABASE dm_demo_source CHARACTER SET utf8mb4;
CREATE DATABASE dm_demo_target CHARACTER SET utf8mb4;

CREATE TABLE dm_demo_source.orders_batch (
  order_id      BIGINT       NOT NULL PRIMARY KEY,
  customer_name VARCHAR(40)  NOT NULL,
  amount        DECIMAL(12,2) NOT NULL,
  status        VARCHAR(16)  NOT NULL,
  updated_at    DATETIME     NOT NULL
) ENGINE=InnoDB;

INSERT INTO dm_demo_source.orders_batch VALUES
(1001, '杭州门店', 199.90, 'PAID', '2026-11-12 09:00:00'),
(1002, '宁波门店',  89.50, 'NEW',  '2026-11-12 09:05:00'),
(1003, '温州门店', 360.00, 'PAID', '2026-11-12 09:10:00');

CREATE TABLE dm_demo_source.orders_cdc
LIKE dm_demo_source.orders_batch;

INSERT INTO dm_demo_source.orders_cdc
SELECT * FROM dm_demo_source.orders_batch;

五个字段各有用途:order_id 定位记录,amount 看金额精度,中文名称检查字符内容,status 和 updated_at 用于观察后续更新。

接着进入“数据源 → 新增”,建立两个 MySQL 连接:

  • “演示_订单源库”:数据库填 dm_demo_source,角色选“源端”。
  • “演示_订单目标库”:数据库填 dm_demo_target,角色选“目的端”。

填好各自的地址、端口和账号,分别测试连通性,通过后保存。这里的地址需要能从 Worker 访问;如果 Worker 在容器里,localhost 指的是容器自己。

MySQL 源端配置,数据库填写独立演示库并选择源端角色
MySQL 源端配置,数据库填写独立演示库并选择源端角色

普通全量:先复制现有的三条订单

我在“任务管理”里新建“演示_MySQL普通全量同步”,类型选择“普通任务”,源端和目的端分别选择刚才的两个连接。

新建普通任务,选择 MySQL 源端和 MySQL 目的端
新建普通任务,选择 MySQL 源端和 MySQL 目的端

进入映射配置后,先点击“源端数据”旁边的 +(选择数据集),展开源库,勾选 orders_batch 并确认。这里不是先手工在目标库建表,而是保存映射后由任务创建。

自动生成映射以后,我检查了这几项:

  • 目标表名为 orders_batch,字段同名映射。
  • order_id 保留主键和 BIGINT 类型。
  • 名称长度 40、状态长度 16。
  • 金额保留 DECIMAL(12,2),时间映射为 DATETIME。

这次没有加转换函数。对 MySQL 目的端来说,保留正确的主键或唯一键也关系到后续按键更新、插入的行为,普通字段不会自动变成匹配键。

字段映射中保留主键、字符长度和金额精度
字段映射中保留主键、字符长度和金额精度

然后打开“同步策略配置”,我先只做一次全量:

配置项

这次取值

选择原因

抽取方式

全量 → 普通模式

读取整张小表

每次同步前清空目的表

是

目标是独立演示表,本轮结果与源表一致

拉取方式

一次性

本轮读完就结束

执行方式

立刻执行

启动后立即运行

数据批大小

5000

保留默认,本次不调吞吐参数

“清空目的表”会影响目标已有数据,不能直接照搬到需要保留历史数据的任务里。

普通全量策略,选择一次性执行和清空独立目标表
普通全量策略,选择一次性执行和清空独立目标表

保存策略,再点击“保存配置 → 完成”。在任务详情点“全部启动”,选择在线执行节点并确认。这次节点显示为 worker:8011。

跑完以后,页面显示采集 3 行、输出 3 行、失败 0 行。我又点击目标表名预览,并查询目标库:

代码语言:sql
复制
SELECT order_id, customer_name, amount, status, updated_at
FROM dm_demo_target.orders_batch
ORDER BY order_id;

目标中是 1001、1002、1003 三条记录,金额分别为 199.90、89.50、360.00,中文名称和时间也与源端一致。

普通全量完成后,目标表出现三条初始订单
普通全量完成后,目标表出现三条初始订单

普通增量:保留历史数据,只补订单 1004

全量复制完,我没有再建一条普通任务,而是把原任务改成按字段增量。

回到“配置任务 → 同步策略配置”,调整为:

  • 抽取方式:增量 → 增量字段。
  • 增量字段:order_id,起始值 1003。
  • 每次同步前清空目的表:否。
  • 拉取方式:间隔性,间隔 1 分钟;执行方式仍为“立刻执行”。

起始值 1003 对应已复制的最大订单 ID。不清空目标,则是为了保留刚才的三条历史记录。这里的 1 分钟是普通查询任务的调度间隔,与后面 CDC 的持续读取日志不是同一个配置。

普通增量配置,order_id 起始值 1003,不清空目标表
普通增量配置,order_id 起始值 1003,不清空目标表

保存后,我在源端增加一条订单:

代码语言:sql
复制
INSERT INTO dm_demo_source.orders_batch VALUES
(1004, 'Nanjing Store', 129.00, 'NEW', '2026-11-12 10:00:00');

再次启动任务,首轮只补入 1 行,目标表原有三条保留,总数变成 4 条。

普通字段增量补入 1004,目标保留原有三条记录
普通字段增量补入 1004,目标保留原有三条记录

运行后看到“调度中”,表示它还会按间隔继续查询;判断某一轮是否写入,可以同时看采集、输出统计和目标表数据。

这个例子也说明了 ID 增量的适用范围:如果只修改订单 1002 的状态,ID 没变,它不会再次符合按 ID 读取的条件。业务需要同步更新时,更推荐使用新增、修改都会可靠刷新的 updated_at;读到记录以后,再根据目标的 order_id 更新已有行。更新时间作为增量字段、订单 ID 作为目标匹配键,可以分别承担这两个职责。

即便改用更新时间,源端物理删除的记录也无法靠这条查询传过去。下面我用另一张表验证 CDC 的更新和删除。

普通增量验证结束后,我点击“全部停止”,保留任务和数据。

CDC:先做快照,再观察新增、更新和删除

检查源端日志条件

普通连接测试通过,不代表已经具备 CDC 条件。我先检查 MySQL 源库的日志配置:

代码语言:sql
复制
SELECT VERSION() AS mysql_version,
       @@log_bin AS log_bin,
       @@binlog_format AS binlog_format,
       @@binlog_row_image AS binlog_row_image,
       @@server_id AS server_id;

这次返回 8.0.25 / 1 / ROW / FULL / 1。源端需要开启 binlog,采用相应的行日志配置,并给同步账号表读取和复制所需的权限。目标库在这条链路中负责接收写入,不需要为了接收数据再建一条反向 CDC。

新建实时任务

我新建“演示_MySQL实时增删改同步”,类型选“实时任务”,“是否执行快照”选 是,仍使用之前的两个 MySQL 连接,但这次只选 orders_cdc,映射到目标库同名表。

新建独立实时任务,开启首次快照
新建独立实时任务,开启首次快照

检查主键和字段映射、保存并完成后,进入任务详情的“CDC策略配置”:

配置项

这次取值

我的考虑

快照模式

全量快照 initial

新任务先搬现有记录,再持续读取日志

首次启动清空目标表

是

初始化独立演示目标表

offset JSON

留空

新任务不手工指定历史位点

输出线程数

1

小表保留默认

自定义参数

database.history.store.only.captured.tables.ddl=true

本次订阅范围固定,让历史结构记录聚焦订阅表

最后这个参数针对结构历史记录,不是增删改的开关,也不代表目标会执行所有 DDL。后面如果扩大订阅范围,要另外核对新表的结构历史和初始化方式。

CDC 策略使用 initial,offset 留空并配置订阅表结构历史参数
CDC 策略使用 initial,offset 留空并配置订阅表结构历史参数

保存并启动后,目标表先出现初始的 1001、1002、1003 三条订单。与一次性普通任务不同,快照读完,实时任务还会继续监听后面的日志变更。

新增一条,再修改同一条

我先在源端插入订单 2001:

代码语言:sql
复制
INSERT INTO dm_demo_source.orders_cdc VALUES
(2001, 'Shanghai Store', 268.80, 'NEW', '2026-11-12 11:00:00');

提交后,目标表出现同一个 2001,金额为 268.80,状态是 NEW。

CDC 新增后,目标表出现订单 2001
CDC 新增后,目标表出现订单 2001

接着只更新这条订单,不改变主键:

代码语言:sql
复制
UPDATE dm_demo_source.orders_cdc
SET amount = 299.90,
    status = 'PAID',
    updated_at = '2026-11-12 11:10:00'
WHERE order_id = 2001;

目标表中仍是一条 2001,金额改为 299.90,状态改为 PAID,时间也跟着变化。这里和刚才按 ID 查询的区别就很直接:主键没有增长,但 CDC 捕获到了更新。

同一订单 2001 在目标变为 299.90 和 PAID
同一订单 2001 在目标变为 299.90 和 PAID

删除一条初始订单

然后我删除订单 1002:

代码语言:sql
复制
DELETE FROM dm_demo_source.orders_cdc
WHERE order_id = 1002;

目标中的 1002 也被移除,此时剩下 1001、1003、2001 三条。除了看页面,我还按主键排序,对源目标的五个字段逐行比较,结果一致。

CDC 删除后,目标只保留 1001、1003、2001
CDC 删除后,目标只保留 1001、1003、2001

停止以后新增的数据,再启动能补上吗

增删改跑通后,我又做了一次正常停止后的续传验证:

  1. 点击实时任务“全部停止”,确认它已经停止。
  2. 在源库插入订单 2002,查询目标库,确认此时还没有这条记录。
  3. 直接启动原任务,不重置,也不重新填写 offset。
  4. 再查询目标,2002 已经补入,原有记录保持。

停止期间执行的 SQL 是:

代码语言:sql
复制
INSERT INTO dm_demo_source.orders_cdc VALUES
(2002, 'Suzhou Store', 168.00, 'PAID', '2026-11-12 11:20:00');

重新启动后,我用同样的字段查询两端:

代码语言:sql
复制
SELECT order_id, customer_name, amount, status, updated_at
FROM dm_demo_target.orders_cdc
ORDER BY order_id;

最终是 1001、1003、2001、2002 四条记录,源目标五个字段逐行一致。

原任务恢复后补入停机期间的 2002,最终目标四条记录与源端一致
原任务恢复后补入停机期间的 2002,最终目标四条记录与源端一致

这个过程使用任务保存的位点,前提是源库还保留对应的 binlog。“停止”和“重置”不是同一个动作,希望接着同步时,不需要把重置当成启动前的例行步骤。这次验证的是正常停止再启动,没有把它扩大成任意故障场景的结论。

目的端范围与本次验证结论

本次实际验证的目的端是 MySQL。普通数据库写入还包括 PostgreSQL、Oracle、SQL Server、达梦、Kingbase 等;消息队列、文件等连接器的写入方式则要单独看,不能把 MySQL 的按键更新、插入规则直接套用过去。

CDC 目的端需要单独支持变更写入。本次部署版本的可选项包含上述关系型数据库,以及 MariaDB、GaussDB、Citus、TiDB、PolarDB MySQL、OceanBase MySQL、Doris、SelectDB、Elasticsearch 等。选择其他目的端前,仍需检查字段映射、键和更新删除语义;本文没有逐一验证这些组合。

CDC 到 Kafka 还需要部署提供该能力的版本,并配置 Topic 和消息格式;它与普通任务把查询结果写入 Kafka 是两种链路。本文没有测试 Kafka 目的端,数据库与 MQ 也不混在同一实时任务中。

这轮操作得到的结果是:

操作

目标端结果

普通全量

初始三条记录写入,五个字段与源端一致

普通 ID 增量

保留已有三条记录,补入 1004

CDC 首次快照

初始三条记录到达,任务继续监听

CDC 新增

2001 到达,金额 268.80、状态 NEW

CDC 更新

同一条 2001 改为 299.90、PAID

CDC 删除

1002 从目标移除

正常停止后再启动

补入停止期间的 2002,最终四条记录与源端逐字段一致

据此选择任务方式时,需要先判断要传递哪类变化。普通全量适合复制存量;字段增量依赖选定字段的维护方式,业务有更新时应考虑可靠刷新的更新时间;同步物理删除则需要 CDC。这里确认的是小表的配置与数据行为,没有据此推导大表吞吐或任意故障下的恢复表现。

演示结束后,两条任务均正常停止,保留库表与配置。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 我先把三种同步方式分开
  • 环境和演示表怎么准备
  • 普通全量:先复制现有的三条订单
  • 普通增量:保留历史数据,只补订单 1004
  • CDC:先做快照,再观察新增、更新和删除
    • 检查源端日志条件
    • 新建实时任务
    • 新增一条,再修改同一条
    • 删除一条初始订单
  • 停止以后新增的数据,再启动能补上吗
  • 目的端范围与本次验证结论
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档