背景信息
Agent 是数据集成提供的一种轻量日志采集器,它可以通过产品界面化方式无代码完成安装、管理以及运维等全生命周期管理。当使用腾讯云 CVM 或者自建服务器 进行业务部署时,可通过配置 Agent 来采集服务器内日志及文件信息投递到下游目标端。
操作步骤
步骤一:创建采集任务
进入配置中心 > 实时同步任务页面后,单击新建日志采集任务。输入任务名称并选择配置模式,支持表单和画布两种模式。
步骤二:配置数据来源
在数据源类型中选择 CVM 类型,并配置该数据源参数信息。
参数 | 说明 |
采集器组 | 选择当前项目可用的采集器,若没有可以单击新建采集器创建。 |
服务器分类 | 选择服务器所归属分类,选择后任务将采集该分类下所有服务器。 |
文件路径 | 手动输入数据来源的文件路径。 |
黑名单 | 默认关闭,开启后配置的黑名单文件路径默认不采集。 |
读取方式 | CVM 来源支持两种读取方式: 全量:从日志文件内容第一行开始读取。 增量:从日志末尾开始读取最新内容。 |
单条记录结束标记 | 默认回车选项,若选择正则表达式,则需要手动输入正确的正则表达式。 |
内容提取模式 | 支持三种内容提取模式: 全内容:每条日志记录内容被解析为键值为 CONTENT 的一行完全字符串。 JSON:每条日志记录内容解析为json键值对,键值需在数据字段内定义。 分割:根据指定的分割符解析日志内容,键值需在数据字段内定义(支持竖线、逗号、分号分割)。 |
步骤三:配置数据目标
日志采集目前已支持大部分主流数据库连接
数据来源 | 已支持目标数据源 |
TKE | |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
|
步骤四:配置字段映射
配置好数据来源和数据目标后,则会展示来源表和目标表的字段信息,我们需要对字段进行映射,支持同名映射和同行映射两种映射方式,并可以对字段进行排序和配置。
单击字段配置则对字段进行配置:
表单配置:可以对字段名称、类型进行更改,也可以删除字段和新增字段。
注意:
文本或 json 提取内容将覆盖除内置元数据字段外的数据字段。内置元数据字段不支持修改和编辑。
文本解析:对已有字段进行解析,也可以手动新增字段。
注意:
一行默认为一个字段及类型,字段名称和类型使用设定的分割符号分割,例如 age int。提醒:首尾空行会被撷取,空行会被忽略。
json 解析:数据为 JSON 格式时(如{"age":10,"name":"demo"}),系统将自动提取字段名并解析值类型。
注意:
当前系统仅支持解析部分类型,可在表单模式下确认并调整解析结果。重复字段保留最后一条。
步骤五:配置任务属性
单击右侧任务属性进入,配置正确的基本属性和集成资源组即可。
步骤六:任务提交
序号 | 参数 | 说明 |
1 | 提交 | 将当前任务提交至生产环境,提交时根据当前任务是否有生产态任务可选择不同运行策略 若当前任务无生效的线上任务,即首次提交或线上任务处于“失败”状态,可直接提交 若当前任务存在“运行中”或“暂停”状态的线上任务需选择不同策略。停止线上作业将抛弃之前任务运行位点,从头开始消费数据,保留作业状态将在重启后从之前最后消费位点继续运行。 说明: 单击立即启动任务将在提交后立即开始运行,否则需要手动触发才会正式运行。 |
2 | 锁定/解锁 | 默认创建者为首个持锁者,仅允许持锁者编辑任务配置及运行任务。若锁定者5分钟内没有编辑操作,其他人可点击图标抢锁,抢锁成功可进行编辑操作 |
3 | 前往运维 | 根据当前任务名称快捷跳转至任务运维页面 |
4 | 保存 | 预览完成后,可单击保存按钮保存整库任务配置。仅保存的情况下,任务将不会提交至运维中心 |