日志采集概述

最近更新时间:2025-12-01 18:59:32

我的收藏

操作场景

日志采集功能是在工作流服务所部署的容器集群内,将集群内容器标准输出或特定路径文件的日志发送至 腾讯云日志服务 CLS
日志采集功能适用于需要对任务运行日志进行存储和分析的用户。
日志采集功能需要为每个工作流服务集群手动开启并配置采集规则。日志采集功能开启后,日志采集 Agent 会在集群内运行,并根据用户通过日志采集规则配置的采集源、CLS 日志主题和日志解析方式,从采集源进行日志采集,将日志内容发送到日志消费端。您可参考以下步骤为集群开启日志采集功能。

基本概念

日志类型

支持开启业务日志或事件日志。
业务日志:业务日志用于采集容器标准输出(stdout)和标准错误(stderr)日志,支持配置多条采集规则。日志将投递到指定的日志主题中。
事件日志:采集工作流所在 Kubernetes 集群的事件,包括 Pod 创建、删除、调度等重要事件。

日志采集 Agent

用于采集日志信息的 Agent,采用 Loglistener。

日志规则

用户可以使用日志规则指定日志的采集源、日志主题、日志解析方式和配置过滤器。日志采集 Agent 会监测日志采集规则的变化,变化的规则会在最多10s内生效。
注意:
使用已有日志主题时,不同类型的索引规则如下:
业务日志:建议配置 pod_name、namespace、container_name 为索引,便于检索。
事件日志:会自动创建索引,覆盖已有主题的索引。详情请参见 事件日志索引说明
建议为日志采集新建独立日志主题,避免与其他线上业务混用。

日志源

包含指定容器标准输出、容器内文件路径。
在采集容器标准输出日志时,用户可选择所有容器和指定 Pod Labels 内的容器服务日志作为日志的采集源。
在采集容器文件路径日志时,用户可指定 Pod Labels 内容器的文件路径日志作为采集源。

消费端

用户选择日志服务 CLS 的日志集和日志主题作为消费端。

提取模式

日志采集 Agent 支持将采集到的日志以多行全文、JSON 的形式发送至用户指定的日志主题。

过滤器

开启过滤器后可以根据用户指定的规则采集部分日志,key 支持完全匹配,过滤规则支持正则匹配,如仅采集 ErrorCode = 404 的日志。

操作步骤

开启日志采集

1. 登录 Serverless 控制台,在左侧导航中选择数据工程 > 工作流
2. 在工作流页面,单击服务名称,进入工作流详情。
3. 选择日志管理,选择新增业务日志采集配置或者开启事件日志采集。如下图所示: