背景信息
数据集成提供 Java、C++ SDK,支持在系统内通过内置 SDK 方式上报业务数据。
操作步骤
步骤一:创建采集任务
进入配置中心 > 实时同步任务页面后,单击新建日志采集任务。输入任务名称并选择配置模式,支持表单和画布两种模式。
步骤二:配置数据来源
在数据源类型中选择 SDK 类型,并配置该数据源参数信息。
参数 | 说明 |
内容提取模式 | SDK 支持三种读取模式: 全内容:每条日志记录内容被解析为键值为 __CONTENT__ 的一行完全字符串。 JSON:每条日志记录内容解析为 JSON 键值对,键值需在数据字段内定义。 符号分割:根据指定的分割符解析日志内容,键值需在数据字段内定义。 |
步骤三:配置数据目标
日志采集目前已支持大部分主流数据库连接。
数据来源 | 已支持目标数据源 |
TKE | |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
|
步骤四:配置字段映射
1. 配置好数据来源和数据目标后,则会展示来源表和目标表的字段信息,我们需要对字段进行映射,支持同名映射和同行映射两种映射方式,并可以对字段进行排序和配置。
2. 单击字段配置则对字段进行配置:
表单配置:可以对字段名称、类型进行更改,也可以删除字段和新增字段。
注意:
文本或 JSON 提取内容将覆盖除内置元数据字段外的数据字段。内置元数据字段不支持修改和编辑。
文本解析:对已有字段进行解析,也可以手动新增字段。
注意:
一行默认为一个字段及类型,字段名称和类型使用设定的分割符号分割,如 age int。提醒:首尾空行会被撷取,空行会被忽略。
JSON 解析:数据为 JSON 格式时(如{"age":10,"name":"demo"}),系统将自动提取字段名并解析值类型。
注意:
当前系统仅支持解析部分类型,可在表单模式下确认并调整解析结果。重复字段保留最后一条。
步骤五:配置任务属性
单击右侧任务属性进入,配置正确的基本属性和集成资源组即可。
步骤六:任务提交
序号 | 参数 | 说明 |
1 | 提交 | 将当前任务提交至生产环境,提交时根据当前任务是否有生产态任务可选择不同运行策略。 若当前任务无生效的线上任务,即首次提交或线上任务处于“失败”状态,可直接提交。 若当前任务存在“运行中”或“暂停”状态的线上任务需选择不同策略。停止线上作业将抛弃之前任务运行位点,从头开始消费数据,保留作业状态将在重启后从之前最后消费位点继续运行。 注意: 单击立即启动,任务将在提交后立即开始运行,否则需要手动触发才会正式运行。 |
2 | 锁定/解锁 | 默认创建者为首个持锁者,仅允许持锁者编辑任务配置及运行任务。若锁定者5分钟内没有编辑操作,其他人可点击图标抢锁,抢锁成功可进行编辑操作。 |
3 | 前往运维 | 根据当前任务名称快捷跳转至任务运维页面。 |
4 | 保存 | 预览完成后,可单击保存按钮,保存整库任务配置。仅保存的情况下,任务将不会提交至运维中心。 |