Apache Kafka - linger.ms和batch.size设置
Apache Kafka是一个分布式流处理平台，用于构建高性能、可扩展的实时数据流应用程序。它具有高吞吐量、低延迟和持久性的特点，适用于处理大规模的实时数据流。
在Kafka中，linger.ms和batch.size是两个与性能和吞吐量相关的重要参数，用于控制消息的发送和批处理。
- linger.ms（发送延迟）：表示消息在发送前等待的时间阈值。默认情况下，linger.ms设置为0，即消息立即发送。当linger.ms大于0时，生产者会等待一段时间，以便将更多的消息聚合到一个批次中，以减少网络开销。较大的linger.ms值可以提高吞吐量，但会增加消息的延迟。
- batch.size（批大小）：表示每个分区中消息批次的大小。默认情况下，batch.size设置为16KB。当生产者积累到达batch.size大小的消息时，会将消息一起发送到Kafka集群。较大的batch.size值可以减少网络开销，提高吞吐量，但会增加消息的延迟。
适当调整linger.ms和batch.size可以根据具体场景优化Kafka的性能和吞吐量。如果对实时性要求较高，可以将linger.ms设置为较小的值，甚至为0，以尽快发送消息。如果对吞吐量要求较高，可以增大batch.size值，以减少网络开销。
腾讯云提供了一系列与Kafka相关的产品和服务，包括消息队列 CKafka、云原生消息队列 CMQ、流数据分析平台 DataWorks 等。您可以通过以下链接了解更多信息：
- 腾讯云消息队列 CKafka：https://cloud.tencent.com/product/ckafka
- 腾讯云云原生消息队列 CMQ：https://cloud.tencent.com/product/cmq
- 腾讯云流数据分析平台 DataWorks：https://cloud.tencent.com/product/dw
相关·内容
我正在努力提高Kafka生产者的吞吐量，我们有CSV报告，这些报告正在处理并发布到Kafka主题。使用默认的Kafka设置，我们可以获得平均300-500 kbps Kafka吞吐量。为了提高吞吐量，我尝试用linger.ms和batch.size测试了一些组合，但没有帮助。尝试过 "linger.ms= 30000","batch.size= 1000000","b
浏览 161提问于2021-02-04得票数 2
有谁知道如何在Kafka Producer中使用批处理。val kafkaStringSerializer = "org.apache.kafka.common.serialization.StringSerializer" props.put("value.serializer", kafkaStringSerializer)
props.put("batch.size</e
浏览 0提问于2017-08-10得票数 2
在kafka生产者设置中，如果linger.ms设置为0并且batch.size不为零，那么预期的行为是什么？生产者需要等待多长时间才能到达batch.size，然后才能发送消息？它会一直等待，直到消息的大小小于指定的批处理大小，还是因为linger.ms为零，所以它不会进行任何批处理，而只是发送每个请求？
浏览 19提问于2018-07-25得票数 14
1回答
props.put("acks", "all"); props.put("batch.size", 16384); props.put("buffer.memory", 33554432);org.apache.<em
浏览 0提问于2016-11-29得票数 0
现在我在用Apache Kafka做一些测试。在卡夫卡生产者的配置中，参数、batch.size、和linger.ms控制着批处理策略。是否有可能在生成时动态地生成这些参数？例如，如果数据摄入率快速上升，我们可能希望增加batch.size，以便每批积累更多的消息。我没有找到任何与卡夫卡制片的动态批次的例子。有可能实现吗？
浏览 1提问于2020-01-14得票数 0
我是apache kafka上的新手，我对apache kafka.When的连接有问题。我使用基于java的apache kafka生成器运行配置它是有效的，但是当我添加打包的jar文件并在apache metron kafka代理上运行时，出现如下所示的错误。NetworkClient:568 - Bootstrap broker node1:6667 disconnectedbootstrap.servers=node1:6667
ack
浏览 29提问于2017-03-17得票数 0
回答已采纳
目前，我能够用JMeter的Pepper-Box负载生成器插件向我的Kafka主题发送消息。
但是，这些消息不被接受，因为它们是未加密的。
浏览 5提问于2022-02-04得票数 0
at org.apache.jmeter.control.GenericController.fireIterationStart(GenericController.java:399) ~[ApacheJMeter_core.jar:5.2.1]at org.apache.jmeter.control.LoopCont
浏览 0提问于2020-05-26得票数 0
import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerConfig;import org.<
浏览 11提问于2022-02-25得票数 0
最新的apache Kafka文档()声称“当事件进入队列时，它们在队列中进行缓冲，直到到达queue.time或batch.size。”但是，org.apache.kafka.clients.producer.ProducerConfig中没有queue.time配置项。在Kafka的最新版本中，最接近的配置项似乎是linger.ms，它没有提供相同的功能。此行为的原始配置以前是queue.buffering.max.ms，但现在已弃用。对于queue.bufferi
浏览 2提问于2017-04-13得票数 4
一旦收集到字节的batch.size或linger.ms时间过去，Kafka就会发送一个批处理。对于未被batch.size或linger.ms关闭的批处理，它不影响压缩效率吗？
浏览 2提问于2021-03-28得票数 2
回答已采纳
我使用的是spring-kafka 2.2.8，并使用以下设置编写了一个简单的异步生成器：producer configand value is : 5producer config key : linger.msand value is : 10
producer config key : batch.size
浏览 0提问于2020-08-08得票数 0
2回答
linger.ms = 60000，根据我的理解，如果linger.ms被设置为某种值，那么即使发件人线程更早可用，并且没有达到批处理大小，生产者也至少会等待这么长的时间。但在我的例子中，一旦发送消息，它就会被发布到主题中，而无需等待60000 ms或批大小达到正在设置的值。生产者 private KafkaTemplate<String, String> kafka;
kafka.send("batch-test",
浏览 10提问于2022-06-21得票数 0
回答已采纳
1回答
通过设置batch.size，我们告诉生产者对记录进行批处理，直到记录的大小达到该限制，然后发送它们。有一个奇怪的配置linger.ms，它说如果生产者想要发送记录，但batch.size没有到达等待更多。
我的问题是，生产者如何可能在记录的大小到达batch.size之前发送记录？我将producer的batch.size设置为16MB，但是producer发送记录时没有考虑这个限制。
浏览 18提问于2018-01-02得票数 0
回答已采纳
eventDateTime\":1618261255871,\"vin\":\"XXXX\",\"deviceTimeZone\":\"XXXX\",\"deviceId\":\"XXXXX\"}}"
} 但是当我看着kafka
浏览 18提问于2021-04-13得票数 0
回答已采纳
我正在使用spring 2.2.8，并使用以下设置编写一个简单的异步生成器：producerretry.backoff.ms and value is : 3000
producer config key : key.serializer and value is : class org.apache.kafka.common.serialization.StringSerializervalue is : 1200
浏览 4提问于2020-07-09得票数 1
我正在使用Kafka1.0，我增加了batch.size=100K来优化我的制作人的性能。但我发现无论我设定的是batch.size=100K、1000 K还是1K，都没有任何效果。此外，我设置了我的linger.ms=5，但它使性能更加糟糕。当我调试Kafka生产者的源代码时，如下所示： this.sender.wakeup();我发现result.newBatchC
浏览 2提问于2018-02-13得票数 0
回答已采纳
我们有卡夫卡下面的设置Replication - 3max.block.ms =-5minretries - 4
No custom config
通过这种设置，我们将面临以下问题我的应用程序从上游接收数据并发布到kafka主题1。从这个kafka topic1，另一个应用程序使用和</
浏览 0提问于2019-02-16得票数 0
"); props.put("batch.size", 16384); props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kaf
浏览 0提问于2016-08-23得票数 0
3回答
package com.hsahu.kafka.producer;
import org.apache.kafka.clients.producer.KafkaProducer;public", 16384);
props.put("
浏览 0提问于2016-08-28得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
