投递与消费

最近更新时间:2024-11-11 09:46:12

我的收藏
相关限制说明如下表所示:
分类
限制项
说明
日志主题
频控
200QPS 每分区。分区指的是源日志主题的分区。超限返回状态码429,提示错误 SpeedQuotaExceed。
投递 COS
投递任务数
每个日志主题投递 COS 任务配置个数最多为10个。
可投递的数据范围
日志主题的生命周期内的数据(包含历史数据和实时数据)。
投递任务时延
投递 COS 的时延在60秒左右。
说明:
假如您配置投递时间间隔为5分钟,那么12:00 - 12:05的日志,满足了5分钟间隔的条件,这部分日志会作为一个批次,整体投递到 COS,时延为60秒,那么这个批次的日志将在12:06左右到达 COS。
投递触发
单个分区满足以下条件任意一个时,触发一次投递:
投递日志大小(累计日志数据),您可配置该参数,5-256MB(未压缩)
投递时间间隔,5-15分钟,您可配置该参数,5-15分钟。
跨账号/跨地域
跨账号:支持
跨地域:暂不支持
投递 CKafka
投递任务数
每个日志主题可配置一个 CKafka 投递任务。
可投递的数据范围
实时日志数据,暂不能投递历史数据。
投递任务时延
99.9%的日志投递 CKafka 的时延在5秒内。(目标 CKafka 状态正常,且吞吐能力足够处理来自 CLS 的消息,不存在磁盘写满或者限流的情况)。
说明:
某一条日志采集到 CLS 的时间戳(_TIMESTAMP_字段的值)为12:00:00,该条日志将在12:00:05秒之前到达 CKafka。
跨账号/跨地域
跨账号:支持
跨地域:暂不支持
Kafka 协议消费
版本
支持 Kafka 协议版本为:1.1.1及更早的版本。
消费组个数
每个日志主题可配置20个消费组。
认证方式
仅支持 SASL_PLAINTEXT。
可消费的数据范围
开启该功能后,默认将从最新数据开始消费。消息保留时间2小时,超过2小时还未消费的数据将不会被保存。如您需要消费更多历史数据,请 联系我们 单独开通。
说明:
例如您12:00打开 Kafka 协议消费,那么您将从12:00的数据开始消费,到15:00,您可以消费13:00-15:00的数据,13:00之前的数据不能消费。
消费时延
99.9%的日志消费的时延在5秒内。
说明:
某一条日志采集到 CLS 的时间戳(_TIMESTAMP_字段的值)为12:00:00,该条日志将在12:00:05秒之前到达消费端。
跨账号/跨地域
跨账号:A 账号可以作为 B 账号的协作者,消费 B 账号的日志主题。需对协作者设置权限,详情请参见 权限配置
跨地域:通过外网消费实现跨地域消费。