基本概念
检索分析提供对日志数据进行过滤、搜索和统计分析的功能,例如查询包含
error
的日志、按 URL 分组统计日志条数、计算 PV 变化趋势等,是日志服务中最常用的功能。功能特性
基础功能
全文检索:针对日志全文进行检索,日志内任一字段满足检索条件时即可检索到该日志,例如使用
error
检索所有出现过 error 的日志。键值检索:针对日志内指定的字段进行检索,指定字段满足检索条件时即可检索到该日志,例如使用
level:error AND timeCost:>1000
检索日志级别(level)为 error 且耗时(timeCost)大于 1000ms 的日志。统计分析:针对符合检索条件的日志进行统计分析,返回统计分析结果,例如使用
status:404 | select count(*) as logCounts
统计响应状态码为404的日志数量。注意:
高级功能
日志检索
多主题检索:同时检索多个日志主题,暂不支持统计分析。可跨日志集,但不可跨地域。
上下文检索:把目标日志数据在原始文件中的前若干条日志(上文)或后若干条日志(下文)检索查询出来。通过查看指定日志的上下文信息,您可以在业务故障排查中快速查找故障信息,方便定位问题。
自定义跳转:单击日志字段值可进行自定义跳转,方便进行进一步的操作,例如根据 user_id 在内部用户管理平台查询用户信息。
下载日志:将符合检索条件的日志下载至本地,单次可最多下载5000万条日志。
日志统计分析
快速分析:点击日志字段名称,可快速分析字段值的分布、随时间变化趋势和数值统计。
采样分析:使用统计分析功能时,若原始日志条数非常多或统计分析语句(SQL)较为复杂,统计分析可能出现缓慢甚至超时的情况。此时可使用采样分析功能对原始日志进行随机采样,再进行统计分析。
关联外部数据:对日志进行统计分析时,可将日志与外部数据关联起来进行统计,例如根据日志中的用户 ID 在用户信息数据库中查询用户性别,然后按性别对日志进行统计分析。
产品优势
基于提前构建的索引数据,检索分析性能远高于一般的文本扫描方式的查询(例如 Linux grep 命令、文本编辑器中的查询功能),适用于海量日志数据的实时查询。
统计分析支持 SQL,并符合 SQL-92规范,可使用灵活的 SQL 语法及400+ SQL 函数对日志进行统计,满足绝大多数统计分析需求。
费用说明
检索分析本身不产生费用,但由于其依赖日志上报至日志服务平台并开启索引,会产生日志及索引流量费用、存储费用和主题分区费用,详见 计费概述。另外,使用 API 调用检索分析接口时会产生服务请求次数费用,使用下载日志功能时会产生外网读流量费用。
规格与限制