我用两张 MySQL 订单表做了一次同步实验,重点观察三种行为:存量能否完整复制,字段增量会读取哪些记录,CDC 能否传递更新和物理删除。操作工具是 DataMover,下面记录任务配置、源端 SQL 和目标端的实际变化。
这次我准备了两张同结构的小表:一张演示普通全量和字段增量,另一张演示 CDC 首次快照、新增、修改、删除,以及停止后继续同步。数据量很小,目的是看清每种配置的行为。
操作从系统首页进入,后面用到左侧“数据源”和“任务管理”两个入口。

我想确认的是下面三件事,所以没有让两条任务同时写同一张表:
方式 | 这次的配置 | 我关注的结果 |
|---|---|---|
普通全量 | 一次性读取 | 现有 3 条订单能否完整到达目标库 |
普通字段增量 | 沿用普通任务,按 | 保留历史数据,只补入新订单 1004 |
CDC 实时任务 | 独立订阅 | 新增、修改、物理删除,以及停止后的变更能否同步 |
普通数据库任务有一个容易混淆的地方:增量字段和目标端的匹配键不是一回事。
在这次 MySQL 写入配置中,目标端按主键识别记录,存在则更新,不存在则插入。但只有先被源端读取到的记录,才会进入这个写入过程。按自增 ID 查询时,旧订单修改了状态,ID 没变,就不会因为目标端支持更新而自动再被读取。
如果业务有更新需求,我会优先考虑可靠维护的更新时间字段:新增、修改都刷新它,再检查字段精度和增量边界。自增 ID 更适合只追加数据;这次先用 ID 演示,比较容易观察新增的一行。
还有一个明确的边界:普通任务不能同步源端的物理删除。 记录删掉以后,字段增量查询就读不到它,无法据此通知目标库删除。需要连续传递增删改时,就要看 CDC。
这次操作使用的是已部署的 DataMover v1.0.0 实例和 MySQL 8.0.25,源库、目标库放在同一个 MySQL 实例里。换成两台 MySQL,后面的配置思路相同。本文两条单表任务也可以使用永久免费社区版复现。
如果从零开始搭环境,可以先准备 Docker,再使用一键安装命令。Linux 或 macOS 的终端命令是:
bash -c "$(curl -fsSL https://down.datamover.cn/install.sh)"Windows 使用 PowerShell 时,对应的命令是:
Set-ExecutionPolicy Bypass -Scope Process -Force; irm https://down.datamover.cn/install.ps1 | iex脚本自动下载、解压并部署,启动后按终端输出的地址进入管理页面。也可以选择下载安装包,在主机上按 Linux 或 Windows 安装说明配置启动。本文从已经能够登录管理页面开始,不重复展开部署过程。
我单独创建了两个演示库,目标库先不建表,让任务按字段映射创建:
角色 | 库名 | 表 |
|---|---|---|
源端 |
|
|
目标端 |
| 任务创建同名表 |
初始化 SQL 如下。复现时使用自己的独立测试库,不要与业务表混用。
CREATE DATABASE dm_demo_source CHARACTER SET utf8mb4;
CREATE DATABASE dm_demo_target CHARACTER SET utf8mb4;
CREATE TABLE dm_demo_source.orders_batch (
order_id BIGINT NOT NULL PRIMARY KEY,
customer_name VARCHAR(40) NOT NULL,
amount DECIMAL(12,2) NOT NULL,
status VARCHAR(16) NOT NULL,
updated_at DATETIME NOT NULL
) ENGINE=InnoDB;
INSERT INTO dm_demo_source.orders_batch VALUES
(1001, '杭州门店', 199.90, 'PAID', '2026-11-12 09:00:00'),
(1002, '宁波门店', 89.50, 'NEW', '2026-11-12 09:05:00'),
(1003, '温州门店', 360.00, 'PAID', '2026-11-12 09:10:00');
CREATE TABLE dm_demo_source.orders_cdc
LIKE dm_demo_source.orders_batch;
INSERT INTO dm_demo_source.orders_cdc
SELECT * FROM dm_demo_source.orders_batch;五个字段各有用途:order_id 定位记录,amount 看金额精度,中文名称检查字符内容,status 和 updated_at 用于观察后续更新。
接着进入“数据源 → 新增”,建立两个 MySQL 连接:
dm_demo_source,角色选“源端”。dm_demo_target,角色选“目的端”。填好各自的地址、端口和账号,分别测试连通性,通过后保存。这里的地址需要能从 Worker 访问;如果 Worker 在容器里,localhost 指的是容器自己。

我在“任务管理”里新建“演示_MySQL普通全量同步”,类型选择“普通任务”,源端和目的端分别选择刚才的两个连接。

进入映射配置后,先点击“源端数据”旁边的 +(选择数据集),展开源库,勾选 orders_batch 并确认。这里不是先手工在目标库建表,而是保存映射后由任务创建。
自动生成映射以后,我检查了这几项:
orders_batch,字段同名映射。order_id 保留主键和 BIGINT 类型。DECIMAL(12,2),时间映射为 DATETIME。这次没有加转换函数。对 MySQL 目的端来说,保留正确的主键或唯一键也关系到后续按键更新、插入的行为,普通字段不会自动变成匹配键。

然后打开“同步策略配置”,我先只做一次全量:
配置项 | 这次取值 | 选择原因 |
|---|---|---|
抽取方式 | 全量 → 普通模式 | 读取整张小表 |
每次同步前清空目的表 | 是 | 目标是独立演示表,本轮结果与源表一致 |
拉取方式 | 一次性 | 本轮读完就结束 |
执行方式 | 立刻执行 | 启动后立即运行 |
数据批大小 | 5000 | 保留默认,本次不调吞吐参数 |
“清空目的表”会影响目标已有数据,不能直接照搬到需要保留历史数据的任务里。

保存策略,再点击“保存配置 → 完成”。在任务详情点“全部启动”,选择在线执行节点并确认。这次节点显示为 worker:8011。
跑完以后,页面显示采集 3 行、输出 3 行、失败 0 行。我又点击目标表名预览,并查询目标库:
SELECT order_id, customer_name, amount, status, updated_at
FROM dm_demo_target.orders_batch
ORDER BY order_id;目标中是 1001、1002、1003 三条记录,金额分别为 199.90、89.50、360.00,中文名称和时间也与源端一致。

全量复制完,我没有再建一条普通任务,而是把原任务改成按字段增量。
回到“配置任务 → 同步策略配置”,调整为:
起始值 1003 对应已复制的最大订单 ID。不清空目标,则是为了保留刚才的三条历史记录。这里的 1 分钟是普通查询任务的调度间隔,与后面 CDC 的持续读取日志不是同一个配置。

保存后,我在源端增加一条订单:
INSERT INTO dm_demo_source.orders_batch VALUES
(1004, 'Nanjing Store', 129.00, 'NEW', '2026-11-12 10:00:00');再次启动任务,首轮只补入 1 行,目标表原有三条保留,总数变成 4 条。

运行后看到“调度中”,表示它还会按间隔继续查询;判断某一轮是否写入,可以同时看采集、输出统计和目标表数据。
这个例子也说明了 ID 增量的适用范围:如果只修改订单 1002 的状态,ID 没变,它不会再次符合按 ID 读取的条件。业务需要同步更新时,更推荐使用新增、修改都会可靠刷新的 updated_at;读到记录以后,再根据目标的 order_id 更新已有行。更新时间作为增量字段、订单 ID 作为目标匹配键,可以分别承担这两个职责。
即便改用更新时间,源端物理删除的记录也无法靠这条查询传过去。下面我用另一张表验证 CDC 的更新和删除。
普通增量验证结束后,我点击“全部停止”,保留任务和数据。
普通连接测试通过,不代表已经具备 CDC 条件。我先检查 MySQL 源库的日志配置:
SELECT VERSION() AS mysql_version,
@@log_bin AS log_bin,
@@binlog_format AS binlog_format,
@@binlog_row_image AS binlog_row_image,
@@server_id AS server_id;这次返回 8.0.25 / 1 / ROW / FULL / 1。源端需要开启 binlog,采用相应的行日志配置,并给同步账号表读取和复制所需的权限。目标库在这条链路中负责接收写入,不需要为了接收数据再建一条反向 CDC。
我新建“演示_MySQL实时增删改同步”,类型选“实时任务”,“是否执行快照”选 是,仍使用之前的两个 MySQL 连接,但这次只选 orders_cdc,映射到目标库同名表。

检查主键和字段映射、保存并完成后,进入任务详情的“CDC策略配置”:
配置项 | 这次取值 | 我的考虑 |
|---|---|---|
快照模式 | 全量快照 | 新任务先搬现有记录,再持续读取日志 |
首次启动清空目标表 | 是 | 初始化独立演示目标表 |
offset JSON | 留空 | 新任务不手工指定历史位点 |
输出线程数 | 1 | 小表保留默认 |
自定义参数 |
| 本次订阅范围固定,让历史结构记录聚焦订阅表 |
最后这个参数针对结构历史记录,不是增删改的开关,也不代表目标会执行所有 DDL。后面如果扩大订阅范围,要另外核对新表的结构历史和初始化方式。

保存并启动后,目标表先出现初始的 1001、1002、1003 三条订单。与一次性普通任务不同,快照读完,实时任务还会继续监听后面的日志变更。
我先在源端插入订单 2001:
INSERT INTO dm_demo_source.orders_cdc VALUES
(2001, 'Shanghai Store', 268.80, 'NEW', '2026-11-12 11:00:00');提交后,目标表出现同一个 2001,金额为 268.80,状态是 NEW。

接着只更新这条订单,不改变主键:
UPDATE dm_demo_source.orders_cdc
SET amount = 299.90,
status = 'PAID',
updated_at = '2026-11-12 11:10:00'
WHERE order_id = 2001;目标表中仍是一条 2001,金额改为 299.90,状态改为 PAID,时间也跟着变化。这里和刚才按 ID 查询的区别就很直接:主键没有增长,但 CDC 捕获到了更新。

然后我删除订单 1002:
DELETE FROM dm_demo_source.orders_cdc
WHERE order_id = 1002;目标中的 1002 也被移除,此时剩下 1001、1003、2001 三条。除了看页面,我还按主键排序,对源目标的五个字段逐行比较,结果一致。

增删改跑通后,我又做了一次正常停止后的续传验证:
停止期间执行的 SQL 是:
INSERT INTO dm_demo_source.orders_cdc VALUES
(2002, 'Suzhou Store', 168.00, 'PAID', '2026-11-12 11:20:00');重新启动后,我用同样的字段查询两端:
SELECT order_id, customer_name, amount, status, updated_at
FROM dm_demo_target.orders_cdc
ORDER BY order_id;最终是 1001、1003、2001、2002 四条记录,源目标五个字段逐行一致。

这个过程使用任务保存的位点,前提是源库还保留对应的 binlog。“停止”和“重置”不是同一个动作,希望接着同步时,不需要把重置当成启动前的例行步骤。这次验证的是正常停止再启动,没有把它扩大成任意故障场景的结论。
本次实际验证的目的端是 MySQL。普通数据库写入还包括 PostgreSQL、Oracle、SQL Server、达梦、Kingbase 等;消息队列、文件等连接器的写入方式则要单独看,不能把 MySQL 的按键更新、插入规则直接套用过去。
CDC 目的端需要单独支持变更写入。本次部署版本的可选项包含上述关系型数据库,以及 MariaDB、GaussDB、Citus、TiDB、PolarDB MySQL、OceanBase MySQL、Doris、SelectDB、Elasticsearch 等。选择其他目的端前,仍需检查字段映射、键和更新删除语义;本文没有逐一验证这些组合。
CDC 到 Kafka 还需要部署提供该能力的版本,并配置 Topic 和消息格式;它与普通任务把查询结果写入 Kafka 是两种链路。本文没有测试 Kafka 目的端,数据库与 MQ 也不混在同一实时任务中。
这轮操作得到的结果是:
操作 | 目标端结果 |
|---|---|
普通全量 | 初始三条记录写入,五个字段与源端一致 |
普通 ID 增量 | 保留已有三条记录,补入 1004 |
CDC 首次快照 | 初始三条记录到达,任务继续监听 |
CDC 新增 | 2001 到达,金额 268.80、状态 NEW |
CDC 更新 | 同一条 2001 改为 299.90、PAID |
CDC 删除 | 1002 从目标移除 |
正常停止后再启动 | 补入停止期间的 2002,最终四条记录与源端逐字段一致 |
据此选择任务方式时,需要先判断要传递哪类变化。普通全量适合复制存量;字段增量依赖选定字段的维护方式,业务有更新时应考虑可靠刷新的更新时间;同步物理删除则需要 CDC。这里确认的是小表的配置与数据行为,没有据此推导大表吞吐或任意故障下的恢复表现。
演示结束后,两条任务均正常停止,保留库表与配置。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。