操作场景
日志采集功能适用于需要对任务运行日志进行存储和分析的用户。
日志采集功能需要为每个工作流服务集群手动开启并配置采集规则。日志采集功能开启后,日志采集 Agent 会在集群内运行,并根据用户通过日志采集规则配置的采集源、CLS 日志主题和日志解析方式,从采集源进行日志采集,将日志内容发送到日志消费端。您可参考以下步骤为集群开启日志采集功能。
基本概念
日志类型
支持开启业务日志或事件日志。
业务日志:业务日志用于采集容器标准输出(stdout)和标准错误(stderr)日志,支持配置多条采集规则。日志将投递到指定的日志主题中。
事件日志:采集工作流所在 Kubernetes 集群的事件,包括 Pod 创建、删除、调度等重要事件。
日志采集 Agent
用于采集日志信息的 Agent,采用 Loglistener。
日志规则
用户可以使用日志规则指定日志的采集源、日志主题、日志解析方式和配置过滤器。日志采集 Agent 会监测日志采集规则的变化,变化的规则会在最多10s内生效。
注意:
使用已有日志主题时,不同类型的索引规则如下:
业务日志:建议配置 pod_name、namespace、container_name 为索引,便于检索。
事件日志:会自动创建索引,覆盖已有主题的索引。详情请参见 事件日志索引说明。
建议为日志采集新建独立日志主题,避免与其他线上业务混用。
日志源
包含指定容器标准输出、容器内文件路径。
在采集容器标准输出日志时,用户可选择所有容器和指定 Pod Labels 内的容器服务日志作为日志的采集源。
在采集容器文件路径日志时,用户可指定 Pod Labels 内容器的文件路径日志作为采集源。
消费端
用户选择日志服务 CLS 的日志集和日志主题作为消费端。
提取模式
日志采集 Agent 支持将采集到的日志以多行全文、JSON 的形式发送至用户指定的日志主题。
过滤器
开启过滤器后可以根据用户指定的规则采集部分日志,key 支持完全匹配,过滤规则支持正则匹配,如仅采集
ErrorCode = 404 的日志。操作步骤
开启日志采集
1. 登录 Serverless 控制台,在左侧导航中选择数据工程 > 工作流。
2. 在工作流页面,单击服务名称,进入工作流详情。
3. 选择日志管理,选择新增业务日志采集配置或者开启事件日志采集。如下图所示:
