日志服务

日志服务的功能有哪些？

日志采集

日志服务目前支持 LogListener 、API、Kafka 协议、对象存储（Cloud Object Storage，COS）导入等多种采集方式：

• Loglistener 实时采集：使用腾讯云 LogListener 采集日志，便捷安装，服务稳定可靠安全、支持大部分主流 Linux 操作系统，兼顾高性能与低资源占用。
• 通过 API：无需安装 LogListener，直接调用 API 上传日志，支持多种语言。
• Kafka 协议：支持使用 Kafka Producer SDK 上传日志到 CLS。
• COS 导入：将腾讯云对象存储中的数据导入到日志服务。

日志存储

根据用户对日志不同的检索时延性及日志处理能力需求，提供两种存储：

• 实时存储：适用于用户对日志有统计分析的需求，提供日志的秒级检索，实时统计分析，实时监控，流式消费等应用能力。
• 低频存储：适用于访问频率较低且无统计分析需求的日志，如审计归档日志。低频存储提供全文检索日志的能力，满足用户对历史日志的回溯检索，归档存储等诉求。长期存储下，整体使用成本相比实时存储降低80%。

日志检索分析

针对存储在 CLS 的日志进行实时检索分析，帮助用户快速定位异常日志、统计系统及业务指标。

• 日志检索：使用关键词按全文或字段检索日志。
• 统计分析：使用 SQL 灵活统计日志内的系统及业务指标并通过图表进行展示，兼容 SQL 92标准，支持200+ SQL 函数。例如按省份统计业务请求数，按时间查询请求错误率变化趋势。
• 性能优异：秒级返回查询结果，支持亿级别日志检索分析。

仪表盘

仪表盘提供数据分析全局视图,您可以在仪表盘查看多个基于查询与分析结果的统计图表。

• 仪表盘：仪表盘支持保存多个基于查询与分析结果的统计图表，构成场景化的分析大盘。
• 预置仪表盘：面向 CLB、TKE、COS 等腾讯云生态产品，CLS 提供预置仪表盘，实现常见监控能力的开箱即用。
• 模板变量：模板变量支持数据源变量与快速过滤，实现仪表盘图表统计分析对象与维度的快速切换，千变万化支持更复杂的业务场景。

告警

日志内出现较多错误日志或系统及业务指标超出阈值时秒级告警，主动发现系统及业务异常问题。

• 通知渠道：支持电话、短信、邮件、微信、企业微信和自定义接口回调（可对接钉钉及飞书）。
• 多维分析：触发告警时可针对原始日志进行额外的检索分析，将结果附加在告警通知中，辅助定位告警原因。

日志数据处理

• 日志过滤清洗：脏数据清洗，按条件过滤日志。
• 日志结构化：将非结构化的日志处理成结构化数据，方便您后续使用 SQL 来计算分析日志。
• 日志计算分析：使用定时 SQL 任务，对日志进行计算，如日志聚合。
• 日志分发：按照一定的规则，将日志分发到不同的目标日志主题中。

日志投递与消费

您可以将日志投递至腾讯云产品中，如对象存储 COS、消息中间件 Ckafka，也可以将 CLS 日志消费到其它大数据组件。

• 日志投递至 COS：用于日志归档、日志的离线计算。
• 日志投递至 Ckafka：适用于日志的实时处理和计算。
• 日志实时消费：消费日志数据到大数据组件，例如 Flink、Logstash、Flume。

日志服务的产品优势是什么？

功能丰富

提供采集、存储、检索、转存投递等功能一站式日志服务。

采集客户端 LogListener 提供单行/多行全文、分隔符、JSON、正则等日志结构化解析方式。

提供多种数据接入方式，用户可根据业务情况选择适合的接入方式，详情请参见 采集概述。

提供丰富的检索语法，方便用户进行关键词查询、模糊查询、范围查询等日志查询操作。

稳定可靠

日志服务采用高可扩展性的分布式存储架构，支持横向水平扩容，服务弹性伸缩，轻松存储管理海量日志数据。

日志服务后端存储采用多副本机制管理存储日志数据，为数据安全提供可靠性保障。

简单高效

采集端 LogListener 提供界面式的配置方式，配置简单直观，使用 LogListener 可快速接入日志服务。

数据写入 CLS 即可被消费，亿级数据查询支持秒级返回结果。

服务按实际用量收费，无需单独搭建和运维日志系统，避免了资源闲置浪费问题。

生态扩展

部分云产品日志已接入 CLS，详情请参见 接入列表。

日志数据投递 COS，满足对日志数据长时间归档存储的需求。

日志数据投递 Ckafka，满足对日志数据实时消费的需求，便于进一步处理分析。