同步至 Kafka 与数据订阅实现原理类似,两者都可实时获取源库的数据变更,可应用于数据归档、数据分析等场景中。
如果用户已有自己的 Kafka(腾讯云 Ckafka),或者需要对源库的全量 + 增量数据进行同步,建议选择 同步至 Kafka 的功能。
如果用户没有自己的 Kafka(腾讯云 Ckafka),并仅需要获取源库的库、表的增量变更,建议选择 数据订阅(Kafka 版) 功能。
详细的功能差别如下:
功能 | 数据同步至 Kafka | 数据订阅 |
支持的链路 | MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL 数据同步至 Ckafka。 | 源端为 MySQL/MariaDB/Percona/TDSQL-C MySQL/TDSQL MySQL/TDSQL PostgreSQL/MongoDB。 |
数据格式 | MySQL/MariaDB/Percona/TDSQL-C MySQL 数据同步至 Ckafka:Avro、JSON、Canal Protobuf、Canal JSON。 TDSQL MySQL 数据同步至 Ckafka:Avro、JSON。 | Protobuf、Avro、JSON。 |
目标端 Kafka | 用户自己的 Kakfa(当前仅支持目标端为腾讯云 Ckafka),可自行设置 Topic 名称。 | DTS 数据订阅内置 Kafka,用户不可设置 Topic 名称。 |
数据类型 | 全量 + 增量数据。 | 仅增量数据。 |
同步对象 | 同步源库的基础库、表、视图、函数、存储过程。 | 订阅源库的基础库、表对象。 |
SQL 过滤 | 支持 SQL 过滤,可筛选 INSERT、UPDATE、DELETE 和具体的 DDL,可进行 where 条件过滤。 | 仅可选择结构更新,或者数据更新,不能进行 SQL 过滤。 |