- 综合排序
- 最热优先
- 最新优先
- 来自专栏PingCAP的专栏
TiDB DM 2.0 GA，数据迁移不用愁
TiDB 提供 Data Migration (DM) 生态工具，帮助用户实现从 MySQL 到 TiDB 数据迁移，有效降低迁移成本和风险。 微众银行在多个业务场景中使用 TiDB，其中批量任务、流水日志归档这两类场景高度依赖 DM 的分表合表功能。 在批量任务场景中，使用 DM 把上游多个 MySQL 实例的同构分表汇总合表到下游 TiDB 中，再借助 TiDB 的水平扩展能力来提升批量效率。 在流水日志归档场景，同样使用 DM 把上游多个 MySQL 实例的同构分表进行合表汇总到 TiDB 中，借助 TiDB 的水平扩展能力来提供理论无上限的存储容量能力。 体验 DM 2.0 大家可以通过 TiUP 快速部署体验 DM 2.0，参照创建数据迁移任务开始将数据从 MySQL 迁移到 TiDB。
1.1K40发布于 2020-11-02 - 来自专栏PingCAP的专栏
TiDB-Lightning Toolset & TiDB-DM 正式开源，前排开“坑”、PR 走起！
在刚刚结束的 TiDB DevCon 2019 上，我们宣布将大家期待已久的 TiDB-Ligthning Toolset 和 TiDB-DM 开源（惊不惊喜、意不意外？！） [1240] **原理解读：**TiDB-Lightning Toolset 介绍 **项目地址：**github.com/pingcap/tidb-lightning TiDB-DM **TiDB-DM 特别地，对于有多个 MySQL/MariaDB 实例的分库分表需要合并后同步到同一个 TiDB 集群的场景，DM 提供了良好的支持。 如果你需要从 MySQL/MariaDB 迁移到 TiDB，或者需要将 TiDB 作为 MySQL/MariaDB 的从库，DM 将是一个非常好的选择。 [1240] **原理解读：**TiDB-DM 架构设计与实现原理 **项目地址：**github.com/pingcap/dm [1240]
86100发布于 2019-01-21 - 来自专栏PingCAP的专栏
DM 中 relay log 性能优化实践丨TiDB 工具分享
当前 relay 实现 在开始介绍具体的优化之前，首先简单介绍下当前 DM 中 relay 的实现，详细实现，详情可参阅 DM 源码阅读系列文章（六）relay log 的实现 ，本文在此不做过多描述。 测试环境说明 在开始介绍优化内容前，先介绍下优化时使用的环境情况 上游为 MySQL，版本为 5.7.35-log； 下游为单实例的 TiDB，版本为 5.7.25-TiDB-v5.2.1； DM 使用了 /DM 运行在同一主机，方便测试，主机环境为 8 核 16G； 较大规模测试（> 4 task）下 MySQL/TiDB/DM 分别运行在一台主机上，主机都是 8 核 16G 测量迁移延迟采用下游自更新时间列的方式 ，详细参考 多种方式告诉你如何计算DM同步数据到 TiDB 的延时时间 中的第三种方式。 经过调研该问题是由于 DM 内嵌的 tidb 导致的内存泄漏，暂时未处理。
61920编辑于 2022-03-02 - 来自专栏PingCAP的专栏
DM 是如何处理 DML 的丨TiDB 工具分享
背景 TiDB 的一键水平伸缩特性，帮助用户告别了分库分表查询和运维带来的复杂度，但是在从分库分表方案切换到 TiDB 的过程中，这个复杂度转移到了数据迁移流程里。 TiDB DM 工具为用户提供了分库分表合并迁移功能。 本篇文章将介绍 DM 核心处理单元 Sync，内容包含 binlog 读取、过滤、路由、转换，优化以及执行等逻辑。 具体算法可参考 TiDB Binlog 源码阅读系列文章（八）Loader Package 介绍#并行执行DML Merger MySQL binlog 协议，每条 binlog 对应一行数据的变更操作 当下游 TiDB 的 CPU 占用不高时，增大并发的数量可以有效的提高数据同步的吞吐量。 综上，我们正在考虑实现“精确一次处理”的逻辑，如果有兴趣加入我们的，可以来到 https://internals.tidb.io，一起讨论。
61910编辑于 2022-04-28 - 来自专栏PingCAP的专栏
TiDB Ecosystem Tools 原理解读系列（三）TiDB-DM 架构设计与实现原理
作者：张学程 简介 TiDB-DM（Data Migration）是用于将数据从 MySQL/MariaDB 迁移到 TiDB 的工具。 如果你需要从 MySQL/MariaDB 迁移到 TiDB，或者需要将 TiDB 作为 MySQL/MariaDB 的从库，DM 将是一个非常好的选择。 架构设计 DM 是集群模式的，其主要由 DM-master、DM-worker 与 DM-ctl 三个组件组成，能够以多对多的方式将多个上游 MySQL 实例的数据同步到多个下游 TiDB 集群，其架构图如下 SQL 文件后导入到下游 TiDB，或解析本地持久化的 binlog 后增量同步到下游 TiDB；编排 DM-master 拆解后的数据同步子任务，监控子任务的运行状态。 DM 中对于 DML 之间的冲突检测与处理，与 TiDB-Binlog 中的处理类似，具体原理可以阅读《TiDB EcoSystem Tools 原理解读（一）TiDB-Binlog 架构演进与实现原理
1.7K30发布于 2018-12-27 - 来自专栏PingCAP的专栏
DM 分库分表 DDL “乐观协调” 模式介绍丨TiDB 工具分享
DM worker 内嵌了一个小型 TiDB（通称 schema tracker），用来记录各个上游分表的表结构，当接收到来自上游的 DDL 后，会根据 schema tracker 里 DDL 的执行结果 ，把更新后的表结构转送给 DM master。 DM master 将收到的不同分片的表结构合并成可兼容所有分片的 DML 的合成结构，即不同分片表结构的并集（此过程类似于 SQL 语句中的 JOIN 语句），然后根据合成的表结构和 DM worker 现在 tbl1 和 tbl2 的第二列名字不一样，无法比较，DM 无法确定最终的表结构，所以任务会报错 [7.png] 例子 三个分片合并同步到 TiDB [8.png] ① 在上游增加一列 Level tbl01, tbl02 的并集 tblMerge 是 {ID,NAME,Level} tblMerge 和 tbl 的差集是 {Level}，所以 DDL 是 add column Level 此时下游 TiDB
58430编辑于 2021-12-24 - 来自专栏PingCAP的专栏
DM 分库分表 DDL “悲观协调” 模式介绍丨TiDB 工具分享
背景 TiDB 作为分库分表方案的一个 “终结者”，获得了许多用户的青睐。在切换到 TiDB 之后，用户告别了分库分表查询和运维带来的复杂度。 但是在从分库分表方案切换到 TiDB 的过程中，这个复杂度转移到了数据迁移流程里。 TiDB DM 工具为用户提供了分库分表合并迁移功能，在数据迁移的过程中，支持将分表 DML 事件合并迁移，并一定程度支持上游分表进行 DDL 变更。 DM 的分库分表 DDL 协调可配置为 “悲观协调” 和 “乐观协调”，本文主要介绍 TiDB DM 分库分表 DDL 协调的 “悲观协调” 模式。后续文章会介绍 “乐观协调” 模式。 目前 DM 的实现同样无法将这个事件以相同影响的方式应用到下游。
42130编辑于 2021-12-21 - 来自专栏爱可生开源社区
分布式 | 利用 TiDB DM 将数据从 MySQL 迁移至 DBLE
TiDB DM支持多线程数据导出导入及增量同步，因此选择了TiDB DM为作数据迁移工具。本文以此案例为背景，介绍使用TiDB DM将数据从MySQL迁移至DBLE的方法及遇到的一些问题。 ^$global: user: "tidb" ssh_port: 22 deploy_dir: "/home/tidb/dm/deploy" data_dir: "/home/tidb/dm/data"master_servers /dm_topology.yaml --user tidb -i /home/tidb/.ssh/id_rsashell> tiup dm start dm-test#查看DM集群[tidb@10_186 8261/8291 linux/x86_64 Healthy|L /home/tidb/dm/data/dm-master-8261 /home/tidb/dm/deploy/dm-master dm/data/dm-worker-8262 /home/tidb/dm/deploy/dm-worker-826210.186.65.83:3000 grafana 10.186.65.83
86720编辑于 2022-08-16 - 来自专栏爱可生开源社区
分布式 | 利用 TiDB DM 将数据从 MySQL 迁移至 DBLE
TiDB DM 支持多线程数据导出导入及增量同步，因此选择了 TiDB DM 为作数据迁移工具。 : user: "tidb" ssh_port: 22 deploy_dir: "/home/tidb/dm/deploy" data_dir: "/home/tidb/dm/data" /dm_topology.yaml --user tidb -i /home/tidb/.ssh/id_rsa shell> tiup dm start dm-test #查看DM集群 [tidb@10 10.186.65.83 8261/8291 linux/x86_64 Healthy|L /home/tidb/dm/data/dm-master-8261 /home/tidb/dm /home/tidb/dm/data/dm-worker-8262 /home/tidb/dm/deploy/dm-worker-8262 10.186.65.83:3000
78930编辑于 2022-09-26 - 来自专栏用户5447549的专栏
多种方式告诉你如何计算DM同步数据到TiDB的延时时间
基于MySQL开发的项目在迁移到TiDB的时候，使用DM同步数据是必不可少的一个环节，我在最近的一次POC中就碰到了这样一个需求，需要评估一个具体的延时时间参考值，因为用户在迁移前期的过渡阶段是把TiDB 要注意的是，我理解整个链路的过程应该是：mysql(事务开始)->binlog->dm-worker->tidb->dm-worker，相当于TiDB写完后多了一个通知dm-worker的过程。 这个链路过程是：mysql(事务开始)->binlog->dm-worker->tidb(事务提交)。 我们在前面的DM Task完全不动的情况下，只给下游TiDB的table1增加一个字段： alter table table1 add COLUMN tidb_created timestamp(3) 这个链路的过程是：mysql(事务开始)->binlog->dm-worker->tidb(事务开始)。 总结 以上3种方式从不同维度计算了一次数据同步的延时情况，这个数据具有一定的参考性。
88910编辑于 2022-05-09 - 来自专栏golang算法架构leetcode技术php
mac 上学习k8s系列（49）源码部署dm同步mysql数据到tidb
tidb本身是一个分布式数据库，省去了分库分表的麻烦，对于mysql分库分表后数据库，如果不是分表，分库key维度的查询，需要跨多个表很麻烦，tidb是选择之一。 如何把mysql数据同步到tidb？dm是tidb官方提供的存量、增量数据同步工具。本文将介绍如何在mac上实现服务搭建。 mysql的binlog，处理发送给tidb。 详细可以参考tidb的文档：https://docs.pingcap.com/zh/tidb/stable/dm-overview 首先安装并启动tidb curl --proto Your MySQL connection id is 407 Server version: 5.7.25-TiDB-v6.3.0 TiDB Server (Apache License 2.0) Community
60520编辑于 2022-12-17 - 来自专栏DM平台
DM 管理平台优势
介绍DM 是一个完全开源的项目，源代码全部托管在 Gitee 上，项目源码和核心插件源码放在 https://gitee.com/xiaomagenb/dlvm图片优势零代码开发是指开发简单功能模块时可一键生成无须代码 ，如果开发复杂模块只需学习 DM 平台的插件功能，书写 JavaScript 代码调用相关 Api 函数即可实现，对程序初学者可快速入门并参与项目开发。 在表单设计、视图设计、审批流程等方面 DM 平台采用可视化操作，所见即所得；平台采用 NetCore 框架开发，支持前后端分离，具有可运行在国外 \ 国内系统的跨平台性；平台支持多语言、多币种，可以后台直接配置即可 ；DM 平台可以开发多个子系统并独立运行，每个子系统的各功能模块可快速生成并具备增、删、改、查、审批流、相关报表等基本功能，开发人员可以在此功能基础上添加自己的业务逻辑完成项目的开发。 DM 平台是作者和自己的开发团队结合了多年开发经验，以及各方面的应用案例，把多个开源框架的优势和特殊功能集中进行优中选优，进行了二次开发后，完成了一次全部重构，也纳入很多新的思想。
1.9K10编辑于 2022-08-16 - 来自专栏云同步
SQLAlchemy 连接 dm
1）安装 SQLAlchemy # 我下的是 2.0.30 版本 pip install SQLAlchemy==1.3.23 2）编译安装达梦数据库的 sqlalchemy 方言 到 $DM_HOME d: # 我对应的是 2.0.0 版本 cd d:\develop\dataBases\dm8\drivers\python\sqlalchemy2.0.0 python setup.py install HOST = 'localhost' PORT = '5236' USER = 'DB' PASSWORD = 'DMSDHFASFASHDFN' engine = create_engine('dm HOST = 'localhost' PORT = '5236' USER = 'DB' PASSWORD = 'DMSDHFASFASHDFN' engine = create_engine('dm
51010编辑于 2025-08-01 - 来自专栏linux驱动个人学习
dm-verity
一、Device Mapper： dm-verity是内核子系统的Device Mapper中的一个子模块，所以在介绍dm-verity之前先要介绍一下Device Mapper的基础知识。 /developerworks/cn/linux/l-devmapper/ 二、dm-verity简介： dm-verity是Device mapper架构下的一种目标设备类型，通过它来保障设备或设备分区的完整性 dm-verity类型的设备需要两个底层设备，一个是数据设备，顾名思义是用来存储数据，实际上就是要保障完整性的设备，另一个是哈希设备，用来存储哈希值，在校验数据设备完整性时需要。 图中映射设备和目标设备是一对一关系，对映射设备的读操作被映射成对目标设备的读操作，在目标设备中，dm-verity又将读操作映射为数据设备（Data Device）的读操作。 在读取数据时，dm-verity还要防备哈希设备中存储的哈希值被篡改的情况。
2.8K60发布于 2018-03-07 - 来自专栏云同步
MySQL 迁移 dm
参考链接 此处为语雀内容卡片，点击链接查看：MySQL 5.7.27 迁移 DM 8 · 语雀 迁移前准备 以下中的命名，密码都是可修改的，这里给出的就只是一个例子 创建表空间 # 创建表空间名为 dbTest ，路径为 Z:\fei\data\dm\dbTest\dbTest.DBF create tablespace "dbTest" datafile 'Z:\fei\data\dm\dbTest\dbTest.DBF "dbTest"; 授予权限 -- 授予用户 dbTest 常规权限 grant "PUBLIC","RESOURCE","SOI","SVI","VTI" to "dbTest"; 迁移 1）打开 dm 数据迁移工具 2）点击新建迁移 3）选择迁移方式 4）源数据库连接（mysql） 5）目的数据库连接（dm数据库） 6）选择迁移选项 保持对象名大小写：看情况选择，如果是大小写不敏感可以直接勾选
32210编辑于 2025-08-01 - 来自专栏云同步
DataGrip 连接 dm
window 安装包】 在达梦安装包 iso 文件里面 source/drivers/jdbc 将驱动添加进 DataGrip 选中 jdbc 驱动包，然后选驱动类 添加 url 模版链接：jdbc:dm DataGrip 连接 dm 数据库 1) 选择刚刚自己添加的 驱动 2) 连接
57210编辑于 2025-08-01 - 来自专栏PingCAP的专栏
一体化数据同步平台 DM 1.0 GA 发布
作者：沈瑀昊 DM（TiDB Data Migration）是由 PingCAP 开发的一体化数据同步平台，支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步。 无论是从 MySQL 向 TiDB 进行平滑数据迁移还是用 TiDB 作为多个 MySQL 实例的数据汇总库，都可以通过 DM 来实现。 DM 在 TiDB DevCon 2019 上正式开源，经过半年多时间在大量用户、开发者的支持和反馈下，其功能和稳定性越来越完善。在今天，我们宣布 DM 1.0 GA 正式发布。 [DM Architecture]
DM Architecture 核心特性 一体化数据同步 在进行上下游数据同步的时候，一般需要先进行全量数据复制，再进行增量数据同步 但当将数据同步到 TiDB 后，通常希望逻辑上进行合库合表。DM 针对合库合表的同步场景，提供了强大的分库分表自动合并机制，能够协调上游各分片之间的 DDL 同步，保证数据同步的正确性。1K50发布于 2019-09-09 - 来自专栏PingCAP的专栏
DM 源码阅读系列文章（一）序
作者:杨非 前言 TiDB-DM 是由 PingCAP 开发的一体化数据同步任务管理平台，支持从 MySQL 或 MariaDB 到 TiDB 的全量数据迁移和增量数据同步，在 TiDB DevCon 作为一款连接 MySQL/MariaDB 生态和 TiDB 生态的中台类型产品，DM 获得了广泛的关注，很多公司、开发者和社区的伙伴已经在使用 DM 来进行数据迁移和管理。 数据库基础知识，包括 MySQL、TiDB 的功能、配置和使用等；知道基本的 DDL、DML 语句和事务的基本常识；MySQL 数据备份、主从同步的原理等。 总体而言，读者需要有一定 MySQL/TiDB 的使用经验，了解 MySQL 数据备份和主从同步的原理，以及可以读懂 Go 语言程序。 在阅读 DM 源码之前，可以先从阅读《TiDB-DM 架构设计与实现原理》入手，并且参考 使用文档 在本地搭建一个 DM 的测试环境，从基础原理和使用对 DM 有一个初步的认识，然后再进一步分析源码，深入理解代码的设计和实现
88240发布于 2019-03-20 - 来自专栏DBA随笔
TiDB数据库周边工具介绍
下面是TiDB备份恢复工具和MySQL的对比： 通常情况下，TiDB选择备份方式的流程图，可以借鉴下图： 02 数据迁移工具 TiDB DM工具是一体化的数据迁移任务管理工具，它支持从兼容MySQL DM工具迁移数据的架构图如下： 图中，紫色部分为源端MySQL、MariaDB数据库，红色部分为目标端TiDB数据库，DM工具有一个高可用的架构，通过解析MySQL、MariaDB等上游数据库的 将上面的图进行抽象，就是下面： 其中中间的三个部分就是我们在DM工具中需要做的三个配置。分别是：库表过滤配置、binlog事件配置以及库表路由。 到这里不难理解，DM工具旨在将兼容MySQL协议的数据库数据流转到目标TiDB集群。 那如果我们需要反向流转，也就是从TiDB数据库流转到MySQL数据库，这个时候应该怎么办？ 注意： DM工具是数据迁移工具，支持数据的全量+增量同步，同时可以进行库表过滤、合并、binlog过滤等。 TiCDC是一款数据同步工具，仅支持拉取TiKV的数据变更，不支持存量数据的同步。
1.1K20编辑于 2022-03-31 - 来自专栏DM平台
DM 平台管理 - netcore
打印导出模板管理 用户可自定义配置报表 仓库地址: https://gitee.com/xiaomagenb/dlvm 平台优势： 零代码开发是指开发简单功能模块时可一键生成无须代码，如果开发复杂模块只需学习 DM 在表单设计、视图设计、审批流程等方面 DM 平台采用可视化操作，所见即所得； 平台采用 NetCore 框架开发，支持前后端分离，具有可运行在国外 \ 国内系统的跨平台性； 平台支持多语言、多币种，可以后台直接配置即可 ； DM 平台可以开发多个子系统并独立运行，每个子系统的各功能模块可快速生成并具备增、删、改、查、审批流、相关报表等基本功能，开发人员可以在此功能基础上添加自己的业务逻辑完成项目的开发。
1.5K30编辑于 2022-06-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号