数据集成包括离线与实时数据链路,目前支持关系型数据库、大数据存储、半结构化数据、NoSQL、消息队列等各类数据源。您可以根据各个模块对数据源的支持情况,选择对应的功能模块进行同步任务的配置。
数据源 | 离线同步 | 实时同步 | 版本 | ||||||
| | 离线读取 | 离线写入 | 单表读取 | 单表写入 | 整库读取 | 整库写入 | 日志采集 | |
关系型数据库 | - | 5.6,5.7,8.0.x | |||||||
| TDSQL-C MySQL | - | - | - | |||||
| PostgreSQL | 9.6,10,11,12 | |||||||
| TCHouse-P | ✓ | ✓ | - | ✓ | - | ✓ | ✓ | |
| SQL Server | ✓ | - | 2012,2014,2016,2017,2019 | |||||
| Oracle | - | 11,12,19 | ||||||
| DB2 | - | - | - | - | - | - | ||
| SAP HANA | - | - | - | - | - | - | ||
| DM | - | - | - | - | - | - | ||
| SAP IQ(Sybase) | - | - | - | - | - | - | - | |
大数据 | Hive | - | - | ✓ | 1.x,2.x,3.x | ||||
| - | - | - | ||||||
| Doris | ✓ | - | - | 0.15+ | ||||
| StarRocks | ✓ | ✓ | - | - | - | - | - | |
| ClickHouse | - | - | - | 20.7+ | ||||
| Iceberg | - | - | 0.13.1+ | |||||
| HBase | - | - | - | 2.2.x | ||||
| HDFS | - | - | - | 2.x,3.x | ||||
| Kudu | - | - | - | - | - | - | ||
| TBase | - | - | - | - | ||||
| GaussDB | - | - | - | - | - | - | ||
| GBase | - | - | - | - | - | - | ||
| Greenplum | - | - | - | 4.x,5.x,6.x | ||||
半结构化 | COS | - | - | - | - | - | - | ||
| Rest API | - | - | - | - | - | - | - | |
| FTP | - | - | - | - | - | - | ||
| SFTP | - | - | - | - | - | - | ||
NoSQL | Redis | - | - | - | - | - | - | - | |
| Elasticsearch | - | - | - | 6.x,7.x | ||||
| Mongo | ✓ | ✓ | - | - | - | - | ||
消息队列 | Kafka | ✓ | - | ||||||
| TiDB-Kafka | - | - | - | - | - | - | - | |
| DTS-kafka | - | - | ✓ | - | - | - | - | - |
数据上报 | SDK | - | - | - | - | - | - | ✓ | - |
| TKE | - | - | - | - | - | - | ✓ | - |
| CVM | - | - | - | - | - | - | ✓ | - |
说明
实时数据链路读写端,需满足对应数据源版本。
蓝色 √ 为可跳转的超链接,您可单击蓝色 √,进入对应文档页面进行查看。