背景信息
Agent 是数据集成提供的一种轻量日志采集器,它可以通过产品界面化方式无代码完成安装、管理以及运维等全生命周期管理。当使用腾讯云 TKE 进行业务部署时,可通过配置 Agent 来采集 TKE 集群内各个 pod 的标准输出日志并投递到下游目标端。
操作步骤
步骤一:创建采集任务
进入配置中心 > 实时同步任务页面后,单击新建日志采集任务。输入任务名称并选择配置模式,支持表单和画布两种模式。
步骤二:配置数据来源
在数据源类型中选择 TKE 类型,并配置该数据源参数信息。
参数 | 说明 |
采集器名称 | 选择当前项目可用的采集器。 |
采集来源 | 选择已经配置的 TKE Agent 名称, TKE Agent 配置方式查看 |
日志类型 | 支持标准输出和节点文件两种类型: 标准输出:容器的标准输出的日志,STDOUT 、STDERR。 节点文件:容器内部指定路径的文本日志,选择节点文件则需要手动输入日志文件路径。 |
命名空间 | 选择该采集任务的命名空间: 全部命名空间:包含当前以及未来创建的所有命名空间。 当前全部命名空间:选中当前所有命名空间,不包含未来创建的命名空间。 指定命名空间:手动输入或者选择合适的命名空间。 注意: 为保障使用性能,建议单个 Agent 采集命名空间不超过15个文件。若需采集文件数超过15个,可创建多个采集器。 |
POD 标签 | 通过标签值筛选出指定的 pod 对象进行数据采集。 一个 key 可对应多个 value, value 间请使用逗号分割。如“ environment=production,qa ”,系统将筛选出 environment = production 或者 environment = qa 的 pod 对象。 |
容器名称 | 选填,为空则默认保留符合标签的所有容器。 |
读取方式 | 支持全量和增量两种读取方式: 全量:从日志文件内容第一行开始读取。 增量:从日志末尾开始读取最新内容。 |
单条记录结束标记 | 默认回车选项,若选择正则表达式,则需要手动输入正确的正则表达式。 |
内容提取模式 | 选择需要的内容提取模式,支持以下三种模式: 全内容:每条日志记录内容被解析为键值为 __CONTENT__ 的一行完全字符串。 JSON : 每条日志记录内容解析为 json 键值对,键值需在数据字段内定义。 分割:根据指定的分割符解析日志内容,键值需在数据字段内定义(支持竖线、逗号、分号分割)。 |
高级设置(可选) | 可根据业务需求配置参数。 |
步骤三:配置数据目标
日志采集目前已支持大部分主流数据库连接。
数据来源 | 已支持目标数据源 |
TKE | |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
| |
|
步骤四:配置字段映射
配置好数据来源和数据目标后,则会展示来源表和目标表的字段信息,我们需要对字段进行映射,支持同名映射和同行映射两种映射方式,并可以对字段进行排序和配置。
单击字段配置则对字段进行配置:
表单配置:可以对字段名称、类型进行更改,也可以删除字段和新增字段。
注意:
文本或 json 提取内容将覆盖除内置元数据字段外的数据字段。内置元数据字段不支持修改和编辑。
文本解析:对已有字段进行解析,也可以手动新增字段。
注意:
一行默认为一个字段及类型,字段名称和类型使用设定的分割符号分割,如 age int。提醒:首尾空行会被撷取,空行会被忽略。
json 解析:数据为 JSON 格式时(如{"age":10,"name":"demo"}),系统将自动提取字段名并解析值类型。
注意:
当前系统仅支持解析部分类型,可在表单模式下确认并调整解析结果。重复字段保留最后一条。
步骤五:配置任务属性
单击右侧任务属性进入,配置正确的基本属性和集成资源组即可。
步骤六:任务提交
序号 | 参数 | 说明 |
1 | 提交 | 将当前任务提交至生产环境,提交时根据当前任务是否有生产态任务可选择不同运行策略。 若当前任务无生效的线上任务,即首次提交或线上任务处于“失败”状态,可直接提交。 若当前任务存在“运行中”或“暂停”状态的线上任务需选择不同策略。停止线上作业将抛弃之前任务运行位点,从头开始消费数据,保留作业状态将在重启后从之前最后消费位点继续运行。 说明: 单击立即启动任务将在提交后立即开始运行,否则需要手动触发才会正式运行。 |
2 | 锁定/解锁 | 默认创建者为首个持锁者,仅允许持锁者编辑任务配置及运行任务。若锁定者5分钟内没有编辑操作,其他人可点击图标抢锁,抢锁成功可进行编辑操作。 |
3 | 前往运维 | 根据当前任务名称快捷跳转至任务运维页面。 |
4 | 保存 | 预览完成后,可单击保存按钮保存整库任务配置。仅保存的情况下,任务将不会提交至运维中心。 |