根据用户对日志不同的检索时延性及日志处理能力需求,日志服务(Cloud Log Service,CLS)提供两种存储类型:标准存储和低频存储。
基本概念
存储类型:分为标准存储与低频存储两种。两种存储类型的存储介质不同,功能和性能有差异,价格也不相同。
日志沉降:是一种日志分层存储的方式。将需要 SQL 分析、时效要求高的新数据保存在标准存储里;不需要 SQL 分析、时效性要求低的历史数据保存到低频存储,降低日志长周期存储的成本。详情请参见 日志沉降。
功能特性
功能点 | 低频存储 | 标准存储 |
索引建立 | ✓(只支持全文索引) | ✓ |
上下文检索 | ✓ | ✓ |
快速分析 | × | ✓ |
全文检索 | ✓(亿条数据2秒响应) | ✓(亿条数据0.5秒响应) |
键值检索 | × | ✓ |
日志下载 | ✓ | ✓ |
SQL 分析 | × | ✓ |
仪表盘 | × | ✓ |
监控告警 | × | ✓ |
投递到 COS | ✓ | ✓ |
投递到 Ckafka | ✓ | ✓ |
投递到 ES | ✓ | ✓ |
投递到 SCF | ✓ | ✓ |
日志消费 | ✓ | ✓ |
数据加工 | ✓ | ✓ |
产品优势
标准存储
适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
运维监控排障:对线上问题进行实时诊断,利用日志秒级检索能力,快速检索散落在多个机器的日志内容,定位故障原因并进行修复;基于日志实时计算各项质量指标,一旦指标超过阈值即告警,便于开发运维人员第一时间发现问题修复故障。
流式处理:采集散落在多台机器上 PB 级别埋点日志数据,实时流式拉取至用户自建的大数据处理集群用于后续数据湖计算,例如用于推荐系统的模型数据计算业务等。
低频存储
适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求,整体使用成本相比标准存储降低80%。
历史日志存储:日志数据的爆炸性增长,对于数月乃至数年的日志进行大规模存储和分析,其成本变得十分高昂。这可能会导致用户删除有价值的数据,而错过了长期数据可能产生的重要洞察和见解。低频存储能满足用户以低成本的方式对历史数据进行大规模的检索,历史回溯。
非关键业务日志:排查异常时,研发人员更多需要关注 ERROR/WARN 日志以及针对其进行监控告警,INFO 等非关键业务日志只作为归档存储,在特定场景下才需要触发日志的检索分析。一般用户对该类日志检索时延无特定要求,使用低频存储存储非关键业务日志能显著降低用户使用成本,且满足用户低频检索的诉求。
审计日志场景:将操作审计、安全审计的日志采集至低频存储,通过 CLS 低频检索能力分析其访问行为,例如某个账号、某个对象的操作记录等,判断是否存在违规操作。同时,满足合规审计需求,日志存储180天以上。
操作步骤
1. 登录 日志服务控制台。
2. 在左侧导航栏中,单击日志主题,进入日志主题列表,单击创建日志主题。
费用说明
示例:每天写入2TB原始日志数据,保存30天,压缩比1:8,索引比例100%,以广州地域定价为例。
计费项 | 标准存储 | 低频存储 | 说明 |
写流量 | 1350元 | 1350元 | 价格均为0.18元/GB/天 |
索引流量 | 21500元 | 6140元 | 标准存储:0.35元/GB/天 低频存储:0.1元/GB/天 |
日志存储 | 2650元 | 570元 | 标准存储:0.0115元/GB/天 低频存储:0.0025元/GB/天 |
索引存储 | 21200元 | 4600元 | 标准存储:0.0115元/GB/天 低频存储:0.0025元/GB/天 |
其他费用 | 极少 | 极少 | 包含接口调用次数,分区费用等 |
总价(月) | 46700元 | 12660元(下降73%) | - |