日志存储概述

最近更新时间:2024-06-26 17:37:51

我的收藏
根据用户对日志不同的检索时延性及日志处理能力需求,日志服务(Cloud Log Service,CLS)提供两种存储类型:标准存储低频存储

基本概念

存储类型:分为标准存储与低频存储两种。两种存储类型的存储介质不同,功能和性能有差异,价格也不相同。
日志沉降:是一种日志分层存储的方式。将需要 SQL 分析、时效要求高的新数据保存在标准存储里;不需要 SQL 分析、时效性要求低的历史数据保存到低频存储,降低日志长周期存储的成本。详情请参见 日志沉降

功能特性

功能点
低频存储
标准存储
索引建立
✓(只支持全文索引)
上下文检索
快速分析
×
全文检索
✓(亿条数据2秒响应)
✓(亿条数据0.5秒响应)
键值检索
×
日志下载
SQL 分析
×
仪表盘
×
监控告警
×
投递到 COS
投递到 Ckafka
投递到 ES
投递到 SCF
日志消费
数据加工

产品优势

标准存储

适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
运维监控排障:对线上问题进行实时诊断,利用日志秒级检索能力,快速检索散落在多个机器的日志内容,定位故障原因并进行修复;基于日志实时计算各项质量指标,一旦指标超过阈值即告警,便于开发运维人员第一时间发现问题修复故障。
流式处理:采集散落在多台机器上 PB 级别埋点日志数据,实时流式拉取至用户自建的大数据处理集群用于后续数据湖计算,例如用于推荐系统的模型数据计算业务等。

低频存储

适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求,整体使用成本相比标准存储降低80%。
历史日志存储:日志数据的爆炸性增长,对于数月乃至数年的日志进行大规模存储和分析,其成本变得十分高昂。这可能会导致用户删除有价值的数据,而错过了长期数据可能产生的重要洞察和见解。低频存储能满足用户以低成本的方式对历史数据进行大规模的检索,历史回溯。
非关键业务日志:排查异常时,研发人员更多需要关注 ERROR/WARN 日志以及针对其进行监控告警,INFO 等非关键业务日志只作为归档存储,在特定场景下才需要触发日志的检索分析。一般用户对该类日志检索时延无特定要求,使用低频存储存储非关键业务日志能显著降低用户使用成本,且满足用户低频检索的诉求。
审计日志场景:将操作审计、安全审计的日志采集至低频存储,通过 CLS 低频检索能力分析其访问行为,例如某个账号、某个对象的操作记录等,判断是否存在违规操作。同时,满足合规审计需求,日志存储180天以上。

操作步骤

2. 在左侧导航栏中,单击日志主题,进入日志主题列表,单击创建日志主题

费用说明

标准存储与低频存储各计费项价格不同,详见 计费概述
示例:每天写入2TB原始日志数据,保存30天,压缩比1:8,索引比例100%,以广州地域定价为例。
计费项
标准存储
低频存储
说明
写流量
1350元
1350元
价格均为0.18元/GB/天
索引流量
21500元
6140元
标准存储:0.35元/GB/天 低频存储:0.1元/GB/天
日志存储
2650元
570元
标准存储:0.0115元/GB/天 低频存储:0.0025元/GB/天
索引存储
21200元
4600元
标准存储:0.0115元/GB/天 低频存储:0.0025元/GB/天
其他费用
极少
极少
包含接口调用次数,分区费用等
总价(月)
46700元
12660元(下降73%)
-

规格与限制

日志存储的规格与限制,请参见 规格与限制