概述
日志服务(Cloud Log Service,CLS)提供一站式的日志数据解决方案,支持日志的采集、存储、加工、检索分析、消费投递、仪表盘、告警等功能。CLS 提供稳定可靠的服务,您可无需关注扩缩容等资源问题,同时降低了日志运维门槛,帮助您提高问题定位和指标监控的效率。
为了帮助您快速入门日志服务,本文将演示如何使用日志服务的基本功能:
使用 LogListener 采集服务器中的日志文件。
检索分析日志。
步骤1:开通服务
步骤2:安装 LogListener
LogListener 是日志服务的采集客户端,通过 LogListener 可将日志文件采集至日志服务。下文将演示如何在腾讯云 CVM/Lighthouse 中安装 LogListener。
此外,LogListener 也可部署在 非腾讯云服务器、容器服务 TKE 和 自建 K8s 集群。
步骤2.1:获取密钥
步骤2.2:安装 LogListener
1. 前往 机器组管理,在页面左上角将地域切换为需要安装 LogListener 的CVM/Lighthouse 所属的地域,单击云服务器实例批量部署。
注意:


2. 勾选需要安装 LogListener 的机器实例,在输入 SecretId 信息中填写步骤2.1的 SecretId 及 SecretKey,并填写机器标识(例如 test,相当于对机器实例的分类,便于后续按照该标识批量采集多台机器的日志)。


3. 等待安装完成后,单击下一步。


4. 将安装好 LogListener 的机器实例加入至新的机器组中(机器组是一组需要采集日志的机器实例列表,可针对同一机器组内的多个实例批量采集相同路径下的日志文件),填写机器组名称,单击加入。


步骤3:创建日志主题
日志主题是日志数据采集、存储、检索和分析的基本单元,一个日志主题通常对应某一个应用/服务(具备类似的日志结构)。还可以使用日志集对日志主题进行分组,日志集本身不存储任何日志数据,仅方便用户管理日志主题。
1. 前往 日志主题 管理页面,在页面左上角将地域切换为步骤2.2的地域,单击创建日志主题。


2. 在弹出的创建日志主题窗口中,填写相关信息,单击确定。


日志主题名称:例如 test
存储类型:标准存储
日志集操作:创建日志集
日志集名称:例如 test
步骤4:配置采集规则及索引配置
1. 前往 日志主题 管理页面,单击步骤3创建的日志主题名称/ID,进入该日志主题管理页面。
2. 选择采集配置页签,在 LogListener 采集配置中单击新增。


3. 在日志数据源页面,选择 JSON-文件日志。


说明
JSON 是结构化数据类型,日志采集到 CLS 之后,可直接使用日志检索和分析功能(按特定字段检索日志或对使用 SQL 进行统计分析)。
如果您日志为非结构化的文本,可选择 单行全文日志。文本日志可以按照关键字检索内容,但必须结构化之后方可使用 SQL 进行统计分析,请参见 单行-正则提取日志 对日志字段进行分割和提取。
4. 选择 步骤2.2 创建的机器组,单击下一步。


5. 填写采集规则名称及采集路径(即需要采集的日志文件路径),单击下一步。
例如,待采集文件的绝对路径是
/root/test.log
,则采集路径填写的目录前缀是/root
,日志文件名填写test.log
。
6. 填写索引配置,开启全文索引、键值索引,填写相关信息后,单击提交。


步骤5:检索分析日志
1. 前往 检索分析,即可检索符合检索条件的日志。
例如,下图中为检索包含status_code为400的日志。


2. 基于检索到的原始数据,使用管道符和 SQL 进行统计分析。
例如,统计 status_code 为400的日志条数。


说明:
扩展阅读
基本概念:通过该文档,您可以系统了解 CLS 基本产品概念,包括日志主题、日志集、索引和分词等。
采集检索 Nginx 访问日志:通过该文档,您可以了解如何采集 nginx 日志并使用正则表达式对日志内的字段进行分割和提取。
将通过 grep 命令查找的本地日志迁移至 CLS:通过该文档,您可以将习惯使用的 grep 命令转换为 CLS 检索语法,更快地掌握 CLS 语法规则。
云产品日志接入:CLS 已集成了部分常见云产品日志,可轻松采集这些云产品的日志。
数据加工任务:可通过数据加工对原始日志进行过滤、清洗、脱敏、富化和分发。
监控告警概述:可针对日志设置告警策略,例如1分钟内 ERROR 日志大于10条即触发告警。