转换节点主要用于在同步过程中进行数据内容或格式处理,目前实时同步任务支持字段转换和数据清理两类转换节点,离线同步任务仅支持字段转换节点。
字符串替换
字符串替换节点主要使用 Java 正则表达式对字符串字段的内容进行匹配与替换,本节点将在字段内容全部或部分匹配字符串时执行替换操作。
转换规则参数说明如下:
参数 | 说明 |
字段 | 选择需要进行字符串匹配的字段。本节点处理的字段必须为字符串类型。 说明:本转换节点中,可对同一个字段配置多个转换规则。多个规则之间将根据配置顺序串行。 |
正则表达式 | 用于匹配原字段内容的 Java 正则表达式。 |
新字符串 | 对命中的字段内容替换成指定新字符串。 |
替换方式 | 支持仅替换第一个匹配结果或全部替换。 |
删除 | 删除本行规则。 |
时间格式转换
时间格式转换节点主要用于对表中时间字段转换为目标格式,如将 yyyymmdd 时间格式转换为 yyyymmdd hh:mm:ss 格式。
转换规则参数说明如下:
参数 | 说明 |
字段 | 选择需要进行时间格式匹配的字段,字段需为 datetime、time、timestamp,date 等类型。 说明:本转换节点中,可对同一个字段配置多个转换规则。 |
源时间格式 | 指定本字段时间格式,若指定格式与实际格式不符合将不进行转换,数据处理为脏数据。 |
目标时间格式 | 对于每条记录,若当前字段与指定的源目标格式一致,系统将会把源时间格式转为目标格式。 |
删除 | 删除本行规则。 |
说明
目前本节点仅支持离线同步任务。
值转换
值转换节点主要用于对字段的内容进行标准化处理,本节点将在字段内容与指定内容完全相等时执行替换操作,替换后原字段内容将被更新。如将“CHINA”统一替换成“CHN”。
转换规则参数说明如下:
参数 | 说明 |
字段 | 选择需要进行时间格式匹配的字段,字段默认来源于上游字段,支持对所有上游字段进行处理。 说明:本转换节点中,可对同一个字段配置多个转换规则。 |
匹配值 | 用于判断是否原字段是否等于该指定值。若相等,将执行替换行为替换值。 |
替换值 | 值转化目标,不可为空。 |
删除 | 删除本行规则。 |
说明
目前本节点仅支持离线同步任务。
字段分割
字段分割节点主要用于原始字段内容使用固定符号进行内容切割,切割后的内容将写入新字段内,原始内容保持不变。本节点通常用于字段内容进行一对多映射的场景,如将字段 A 中"Tencent-cloud"用"-"切割并分别写入两个新字段 B、C 中。
转换规则参数说明如下:
参数 | 说明 |
字段 | 选择需要进行内容切割的字段。 说明:本转换节点中,可对同一个字段配置多个转换规则。 |
分割符 | 填写分割标识。 说明:分割符支持通过下拉或者手动输入的方式填充,可以从下拉菜单中选择内置的分割符号或者手动填充。 |
结果字段名称 | 输入用于接收分割结果到字段名称,多个字段名称之间使用逗号分割。分割结果默认将依次填充进目标字段中,若定义字段名称多于分割结果则多余的字段内容将为默认空值,反之多出的分割内容将被舍弃。 说明:如字段 A(内容为"Tencent-cloud")使用"-"切割,写入 B、C、D 三个字段,则 BC 字段会被分别填充 Tencent、cloud,D 字段内容将为默认空值。 |
删除 | 删除本行规则。 |
说明
目前本节点仅支持实时同步任务。
数据过滤
对表中每行内容根据过滤规则进行筛选和匹配,对于匹配的数据行支持保留或者去除。
转换规则参数说明如下:
参数 | 说明 |
过滤动作 | 保留:将命中过滤规则的数据写入到目标表中。 去除:将命中的规则的数据不写入到目标表中。 |
字段 | 选择需要进行内容切割的字段。 说明:本转换节点中,可对同一个字段配置多个转换规则 |
逻辑运算符 | 支持 AND、OR |
运算符 | 目前支持 >、<、<=、>=、=、!=、为空以及不为空 |
类型 | 用于与字段内容比较的值的类型: 字段:使用指定字段的内容过滤字段比较,通常字段内容随不同数据行变化。 自定义值:使用固定的常量与过滤字段内容比较。 |
比较值 | 选择字段或者输入自定义值。 |
删除 | 删除本行规则。 |
说明
目前本节点仅支持实时同步任务。
去重
根据实时数据的处理时间(process_time)对窗口内数据进行内容去重复
转换规则参数说明如下:
参数 | 说明 |
去重动作 | 保留第一条:当时间窗口内存在重复数据时,保留时间顺序排名的第一条数据。 保留最后一条:当时间窗口内存在重复数据时,保留时间顺序排名的最后一条数据。 |
去重字段 | 指定用于判定字段内容是否重复的字段,若指定默认使用全部字段。 |
删除 | 删除本行规则。 |
说明
目前本节点仅支持实时同步任务。
数据连接(join)
实时数据流 join,目前支持常规 regular join 。常规 regular join 适用于有界的输入流,默认保存所有 state。join 节点默认需要配置两个输入节点。
转换规则参数说明如下:
参数 | 说明 |
左/右表 | 选择 join 上游输入节点中作为左表对象的节点名称 |
左/右表关联键 | 左右表用于 join 关联的字段名称 |
连接方式 | 支持左连接(left join)、右连接(right join)、全连接(full join) |