投递与消费概述

最近更新时间:2024-08-15 09:57:01

我的收藏
日志服务(Cloud Log Service,CLS)可以将日志主题中的数据投递到腾讯云 COS (对象存储)、CKafka(消息队列),以满足归档或者计算的需求。投递和消费都会产生读流量费用。
下图是 CLS 日志在大数据中的常见链路:



日志归档场景,您可以将日志投递到 COS,默认是 COS 的标准存储。您也可以选择 CLS 日志沉降,不产生读流量费用,整体费用更低,同时可以继续使用全文和键值检索(如果您之前开启过全文、键值索引)。
日志数据的离线计算场景。您将日志投递到 COS 之后,可以使用 Hive 进行批处理,参见 使用 DLC(Hive)分析 CLS 日志。您也可以使用 CLS 的 定时 SQL 分析 对日志数据进行计算分析(结构化日志,开启键值索引),并将计算结果保存到您指定的日志主题中。
日志数据的实时计算场景。您可以将日志投递到 CKafka,下游使用大数据流处理。您也可以使用 kafka 协议消费,将 CLS 日志主题当做一个 kafka Topic 进行消费。这样可以省去购买 Kafka 实例的费用,投递和消费的读流量费用基本相同。

功能特性

产品功能
投递数据格式
使用场景
投递到 COS
CSV
可用于日志数据批处理。
可以利用 CSV 投递实现 投递日志原文(单行、多行、分隔符采集的日志)。
JSON
日志数据计算。
Parquet
日志数据需为结构化数据,支持数据类型转换(非单行、多行采集),多用于 Hive。
投递到 CKafka
原文
日志流处理。
JSON
Kafka 协议消费
原文
JSON
注意
请提前购买 COS/CKafka
若需要在投递前对日志进行清洗加工过滤,可参见使用 数据加工 操作。

产品优势

操作简单,在控制台完成配置即可将日志数据投递到腾讯云 COS 和 CKafka。
数据投递监控。您可以查看投递日志的流量、条数、投递任务时延的监控图表。

费用说明

投递会产生内网读流量费用(暂不支持跨地域投递),请参见 计费概述,单价参见 产品定价

规格与限制