在通过 CKafka 连接器进行数据处理的过程中,DIP 支持多种方式对解析后的数据进行格式转换,本文介绍相关的操作方法。
数据转换
输入原始数据,以下为一个示例。
{"@timestamp": "2022-02-26T22:25:33.210Z","beat": {"hostname": "test-server","ip": "6.6.6.6","version": "5.6.9"},"input_type": "log","message": "{\\"userId\\":888,\\"userName\\":\\"testUser\\"}","offset": 3030131}
解析结果如下:
连接器处理方式如下:
方式一:通过选择相应的处理 value 功能一键定义规则。
方式二:通过选择数据类型一键更改相应字段的数据格式。
更改前:
更改后:
方式三:通过 JSONPATH 语法实现 join 的拼接功能。关于 JsonPath 语法的详细介绍请参见 JsonPath 说明。