条件与 Oracle 读取配置参数说明
1. 在数据集成页面左侧目录栏单击实时同步。
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 Oracle 节点并配置节点信息。
4. 参数信息
参数 | 描述 |
TiDB 数据源 | 选择需要同步的表所在数据源。 |
TiDB 库 | 支持选择、或者手动输入需读取的库名称。 默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。 当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
TiDB 表 | 支持选择、或者手动输入需读取的表名称。 |
读取模式 | TiDB 数据源目前支持全量和增量两种读取模式。 |
Kafka 数据源 | kafka 读取端数据源类型支持 kafka、Ckafka。 |
topic | Kafka 的Topic,是Kafka处理资源的消息源(feeds of messages)的聚合。 |
序列化格式 | Kafka消息序列化格式类型,目前支持 JSON 和 craft 两种类型 。 |
消息类型 | kafka 读取端数据源支持两种消息类型: append 消息:kafka内消息来源于 append 消息流,通常消息中不携带唯一键。写入节点建议搭配 append 写入模式。 upsert 消息:kafka内消息来源于 upsert 消息流,通常消息中携带唯一键,设置后消息可保证 Exactly-Once。写入节点建议搭配 upsert 写入模式。 |
唯一键 | Upsert写入模式下,需设置唯一键保证数据有序性。 |
消费组 ID | 请避免该参数与其他消费进程重复,以保证消费位点的正确性。如果不指定该参数,默认设定 group.id=WeData_ group_${任务id}。 |
高级设置 | 可根据业务需求配置参数。 |
5. 预览数据字段,单击保存。