条件及限制
Kafka 支持版本:
节点 | 版本 |
Kafka | 0.10+ |
创建 Kafka 节点
1. 在数据集成页面左侧目录栏单击实时同步。
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 Kafka 节点并配置节点信息。
4. 您可以参考下表进行参数配置。
参数 | 描述 |
节点名称 | 输入 Kafka 节点名称 |
数据源 | Kafka 读取端数据源类型支持 Kafka、CKafka |
Topic | Kafka 数据源中的 Topic |
序列化格式 | Kafka 消息序列化格式类型,支持:canal-json、json、avro、csv |
消息类型 | append 消息:Kafka 内消息来源于 append 消息流,通常消息中不携带唯一键。写入节点建议搭配 append 写入模式 upsert 消息:Kafka 内消息来源于 upsert 消息流,通常消息中携带唯一键,设置后消息可保证 Exactly-Once。写入节点建议搭配 upsert 写入模式 |
读取位置 | 启动同步任务时开始同步数据的起始位点 |
消费组 ID | 请避免该参数与其他消费进程重复,以保证消费位点的正确性。如果不指定该参数,默认设定 group.id=WeData_ group_${任务id} |
5. 预览字段,单击保存。