日志服务(Cloud Log Service,CLS)可以将日志主题中的数据投递到腾讯云 COS (对象存储)、CKafka(消息队列),以满足归档或者计算的需求。投递和消费都会产生读流量费用。
下图是 CLS 日志在大数据中的常见链路:
日志归档场景,您可以将日志投递到 COS,默认是 COS 的标准存储。您也可以选择 CLS 日志沉降,不产生读流量费用,整体费用更低,同时可以继续使用全文和键值检索(如果您之前开启过全文、键值索引)。
日志数据的离线计算场景。您将日志投递到 COS 之后,可以使用 Hive 进行批处理,参见 使用 DLC(Hive)分析 CLS 日志。您也可以使用 CLS 的 定时 SQL 分析 对日志数据进行计算分析(结构化日志,开启键值索引),并将计算结果保存到您指定的日志主题中。
日志数据的实时计算场景。您可以将日志投递到 CKafka,下游使用大数据流处理。您也可以使用 kafka 协议消费,将 CLS 日志主题当做一个 kafka Topic 进行消费。这样可以省去购买 Kafka 实例的费用,投递和消费的读流量费用基本相同。
功能特性
产品功能 | 投递数据格式 | 使用场景 |
投递到 COS | CSV | 可用于日志数据批处理。 |
| JSON | 日志数据计算。 |
| Parquet | 日志数据需为结构化数据,支持数据类型转换(非单行、多行采集),多用于 Hive。 |
投递到 CKafka | 原文 | 日志流处理。 |
| JSON | |
Kafka 协议消费 | 原文 | |
| JSON | |
产品优势
操作简单,在控制台完成配置即可将日志数据投递到腾讯云 COS 和 CKafka。
数据投递监控。您可以查看投递日志的流量、条数、投递任务时延的监控图表。