SQL 作业的上下游数据介绍
数据源(Source)指的是输入流计算系统的上游数据来源。在当前的流计算 Oceanus SQL 模式的作业中,数据源可以是消息队列 Kafka、数据库 MySQL 等。
数据目的(Sink)指的是流计算系统输出处理结果的目的地。在当前的流计算 Oceanus SQL 模式的作业中,数据目的可以是消息队列 Kafka、数据库 MySQL、数据分析引擎 Elasticsearch Service 等。
用户也可以上传自定义的 Connector 程序包,以支持更多的数据源和数据目的。
上下游 | 作为流数据源 | 作为批数据源 | 作为维表 | 作为 Append 数据目的 | 作为 Upsert 数据目的 |
支持 | 支持(JAR 作业) | - | 支持 | - | |
支持 | 支持(JAR 作业) | - | 支持 | 支持 | |
支持 | - | - | 支持 | - | |
- | - | - | 支持 | - | |
支持 | - | - | - | - | |
支持 | - | - | - | - | |
- | - | 支持(Flink-1.11) | 支持 | 支持 | |
支持 | - | - | - | - | |
- | - | - | 支持 | - | |
支持(9.6及以上版本) | - | - | - | - | |
- | 支持 | 支持 | 支持 | 支持 | |
- | 支持 | 支持 | 支持 | 支持 | |
- | - | - | 支持 | 支持 | |
支持 | - | 支持 | 支持 | - | |
- | 支持 | 支持 | 支持 | 支持 | |
- | 支持 | - | 支持 | 支持 | |
- | 支持(Flink-1.13) | - | 支持 | 支持 | |
支持 | - | - | - | - | |
- | 支持 | 支持 | 支持 | 支持 | |
支持 | 支持 | - | 支持 | - | |
支持 | 支持 | - | 支持 | 支持 | |
支持 | 支持 | - | 支持 | 支持 | |
支持 | 支持 | - | 支持 | 支持 | |
- | - | - | 支持 | 支持 | |
支持 | - | - | - | - | |
- | 支持 | 支持 | 支持 | 支持 |
注意
Elasticsearch 支持 6.x 版本和 7.x 版本,不支持 5.x 版本。
TDSQL-C 可以使用 mysql-cdc connector。
说明
JAR 作业的上下游数据介绍
当独享集群的 VPC 与用户指定的 VPC 建立互通关系后,JAR 模式的作业即可访问用户特定 VPC 下的所有网络可达的资源,不仅支持上述 SQL 作业支持的上下游,还可以使用该 VPC 下的各项腾讯云服务,例如消息队列、数据库、API 服务、云服务器 CVM 等。