成本节省建议
节省日志服务成本时,优先考虑费用较高的 计费项。通常为索引流量及索引存储这两项,费用一般是写流量和日志存储的数倍。主要因为它们按照未压缩的日志数据量进行计量计费,而使用 LogListener 上传日志时会进行数据压缩,写流量和日志存储按照压缩后的日志数据量计量计费,日志压缩率一般为1:4 - 1:10。
您可以结合自身需求按照如下方式调整日志主题配置,以达到节省成本的目的。
降低日志上传数据量:包括索引流量及索引存储在内的大部分计费项都与日志上传数据量相关,降低日志上传数据量可从源头实现成本节省。您可以适当地减少部分不必要的日志采集,或者使用 LogListener 采集配置 中的过滤器仅采集符合过滤器规则的日志,例如仅采集包含 Error、Warning 级别的日志。
使用低频存储:低频存储以低成本方案解决海量低频日志的检索和存储问题,适用于用户对日志无统计分析要求,且日志保存时间较长的场景,能够节省80%左右的成本。详细说明参见 日志存储概述。
精简索引配置:简化索引配置可以降低索引流量及索引存储费用,详情请参见 精简索引配置。
使用数据加工分发日志主题:数据加工可将原始日志投递至不同的日志主题中,例如按照日志级别 ERROR、WARNING、INFO 将日志进行分类,然后分发到不同的日志主题。您可以创建一个源日志主题用来接收所有的日志数据(这个日志主题可以不开启索引,不产生索引流量及索引存储费用,成本较低),然后使用数据加工按后续的日志检索分析需求将原始日志分别投递至不同存储周期、不同索引配置或不同存储类型的日志主题中,以更好地平衡使用需求及成本。详细说明参见 创建加工任务。
精简索引配置
1. 如需降低索引流量及索引存储费用,需首先关闭全文索引,因为当全文索引处于开启状态时,索引流量将以原始日志全文为准进行计量,键值索引的多少不会影响索引流量及索引存储。
注意:
关闭全文索引后,将无法直接使用关键词的方式对日志进行全文检索,只能使用键值检索,例如搜索 request_id 为 "aaaa-bbbb-cccc-dddd" 的日志:
【错误】全文检索查询语句:
"aaaa-bbbb-cccc-dddd"
,查询报错,因为未指定需要检索的字段。【正确】键值检索查询语句:
request_id:"aaaa-bbbb-cccc-dddd"
,正常查询,指定了需要在 request_id 字段中进行检索。2. 关闭全文索引后,便可减少键值索引字段。键值索引流量以开启键值索引的字段长度为准进行计量,可优先删除无检索需求且字段长度较大的字段。例如下图中的
ua
字段,存储了访问来源的 User agent,长度在整条日志中占比约40%,从索引配置中删除该字段可降低索引流量40%,新增的索引存储也将按比例降低。