MySQL 增量同步 Doris 怎么保持低延迟？NineData 实操揭秘原创

如何通过nine data将MYSQL数据库迁移同步到Doris下面演示结构全量和增量复制的配置过程。进入数据复制，创建复制任务，填写便于识别的任务名称。原数据源选择MYSQL，目标数据源选择Doris。录屏中选取已有数据源，确认原端和目标端连接正确。选取数据规格，为了覆盖完整迁移流程，选择结构复制、全量复制和增量复制。根据目标端是否存在同名表及存量数据选择策略，删除、重建或清空数据前，务必确认目标数据可以处理。点击下一步进入选择复制对象，可以复制全部实例，也可以自定义选择库核表，将需要同步的对象加入右侧目标列表，核对迁移范围。黑名单功能，支持数据复制时添加排除对象，支持按库或表级别过滤，避免非必要数据的同步。

确认后进入下一步。在配置映射页面核对目标库明、目标表明以及Doris的T和distribute t有主键或为一键的原表，默认使用unique模型，需要调整列名或过滤条件时，进入映射与过滤配置，再保存并预检查。预检查会核对连接、命名、规则、权限、核对项等条件，点击详情查看失败或警告的具体原因，失败项修复后重新检查，警告项也要逐项确认，这里保留了录屏中的提示查看与确认过程，避免未经核对直接跳过。检查通过后，点击启动任务，在启动页面确认运行配置，启动成功后进入任务详情，查看各复制阶段的执行情况。先查看结构复制，确认目标对象的创建结果，必要时查看DDL和日志，再打开全量复制检查表及状态完成进度和数据量，遇到失败对象，根据错误信息排查后继续处理。

全量结束后，增量复制持续同步MYSQL的数据变化，在增量复制页面查看同步延迟吞吐和监控曲线，确认任务持续运行。延迟异常时，结合日志以及原端和目标端资源情况排查。接着进入数据对比，开启一致性校验。本次保留录屏中配置对比和查看结果的过程也可在任务预检查阶段提前开启结构全量增量组合任务会在增量首次追平延迟为0时启动相应对比，发现差异后先定位原因再处理并复验。通过以上步骤，我们使用nine data完成了MYSQL到DOS的结构全量和增量复制配置，并查看同步与数据对比结果。以上就是本次MYSQL到Doris数据迁移同步演示。