首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Kafka消息大小设置的一些细节

还记得前几天有个小伙伴跟我反馈发送消息时提示请求数据过大的异常吗?经过调整 max.request.size 的大小之后,又报了了如下异常: ?...查看相关资料后,发现 Broker 端对 Producer 发送过来的消息也有一定的大小限制,这个参数叫 message.max.bytes,这个参数决定了 Broker 能够接收到的最大消息大小,它的默认值为...977 KB,而 max.request.size 的值已经设置成 2M 大小了,很显然已经比 message.max.bytes 大了很多,因此消息大于 997KB 时,就会抛出如上异常。...这还没完,消费端拉取消息数据的大小也需要更改,这个参数叫 fetch.max.bytes,这个参数决定消费者单次从 Broker 获取消息的最大字节数,那么问题来了,如果该参数值比 max.request.size...所以,在 Kafka Producer 调优过程中,根据业务需求,需要特别注意 batch.size 与 max.request.size 之间的大小值的设定,避免内存空间频繁地创建和关闭。

5.7K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    彻底搞懂 Kafka 消息大小相关参数设置的规则

    前段时间接到用户要求,调整某个主题在 Kafka 集群消息大小为 4M。...根据 Kafka 消息大小规则设定,生产端自行将 max.request.size 调整为 4M 大小Kafka 集群为该主题设置主题级别参数 max.message.bytes 的大小为 4M。...以上源码可以看出 message.max.bytes 并不是限制消息大小的,而是限制一个批次的消息大小,所以我们需要注意生产端对于 batch.size 的参数设置需要小于 message.max.bytes...follower 副本就会源源不断地从 leader 副本拉取消息进行复制,这里也会有相关参数对消息大小进行设置,其中 replica.fetch.max.bytes 是限制拉取分区中消息大小,在...也就是说,max.request.size 参数具备两个特性: 1)限制单条消息大小 2)限制发送请求大小 参见 2.2.x 版本的官方解释: The maximum size of a request

    12.2K65

    探究intent传递大小限制

    class.java) val data = ByteArray(1024 * 1024) intent.putExtra("111", data) startActivity(intent) 如上我们传递了1M大小的数据时...由此得知,通过intent在页面间传递数据是有大小限制的。本文我们就来分析下为什么页面数据传输会有这个量的限制以及这个限制大小具体是多少。...普通的由Zygote孵化而来的用户进程,所映射的Binder内存大小是不到1M的,准确说是 110241024) - (4096 *2) :这个限制定义在frameworks/native/libs/binder...而在内核中,其实也有个限制,是4M,不过由于APP中已经限制了不到1M,这里的限制似乎也没多大用途: static int binder_mmap(struct file *filp, struct vm_area_struct...小结 至此我们来解答开头提出的问题,startActivity携带的数据会经过BInder内核再传递到目标Activity中去,因为binder映射内存的限制,所以startActivity也就会这个限制

    4.5K20

    消息队列kafka

    一个后台进程,不断的去检测消息队列中是否有消息,有消息就取走,开启新线程去处理业务,如果没有一会再来 kafka是什么 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算...1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka最初是由LinkedIn公司开发,并于 2011年初开源。...3)Kafka是一个分布式消息队列。...Kafka消息保存时根据Topic进行归类,发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。...kafka集群,临时缓存消息 queue队列有kafka维护 消费者 定时/轮训 方式去pull 消息 topic主题 同样的消息类型,放入同一个topic, 例如微信有很多公众号

    1.1K20

    Kafka消息队列

    之前也学习过消息队列,但一直没有使用的场景,今天项目中遇到了 kafka 那便有了应用场景 1. Kafka Kafka 是一个分布式、支持分区,多副本的基于 zookeeper 的消息队列。...生产消费模型 结合 kafka 的下面这些名词来解释其模型会更加容易理解 名称 解释 Broker kafka 的实例,部署多台 kafka 就是有多个 broker Topic 消息订阅的话题...,是这些消息的分类,类似于消息订阅的频道 Producer 生产者,负责往 kafka 发送消息 Consumer 消费者,从 kafka 读取消息来进行消费 3....消息被消费后不会被删除,相反可以设置 topic 的消息保留时间,重要的是 Kafka 的性能在数据大小方面实际上是恒定的,因此长时间存储数据是完全没问题的 消费者会将自己消费偏移量 offset 提交给...kafka 也会定期清除内部的消息,直到保存最新的一条(文件保存的消息默认保存 7 天) 7.

    85310

    Kafka消息规范

    Kafka作为一个消息队列,有其自己定义消息的格式。Kafka中的消息采用ByteBuf,之所以采用ByteBuf这种紧密的二进制存储格式是因为这样可以节省大量的空间。...V2消息格式 Kafka消息格式经历了V0、V1以及V2版本。V0没有时间戳的字段,导致很难对过期的消息进行判断。...V2消息批次格式RecordBatch 一个消息批次包含若干个消息组成,其实Kafka的日志文件就是用若干个消息批次组成的,kafka不是直接在消息层面上操作的,它总是在消息批次层面上进行写入。 ?...起始位移:Kafka日志分区中的offset 长度:该消息批次的长度 分区leader版本号 版本号:目前该值是2 CRC:CRC校验码,用来确认消息在传输过程中不会被篡改,该字段在V0、V1中是在消息层面的...、起始序列号:序列号的引入为了生产消息的幂等性,Kafka用它来判断消息是否已经提交,防止重复生产消息

    1.8K10

    Android Intent 传递数据大小限制

    这就牵涉到一个问题:Intent 传递数据大小限制。 Intent到底能够携带多少数据呢?...Intent携带信息的大小受Binder限制 Intent携带信息的大小其实是受Binder限制。本文标题也可以改为“Binder传递数据大小限制”。...Binder传递缓存有一个限定大小,通常是1Mb。但同一个进程中所有的传输共享缓存空间。...多个地方在进行传输时,即时它们各自传输的数据不超出大小限制,TransactionTooLargeException异常也可能会被抛出。 在使用Intent传递数据时,1Mb并不是安全上限。...为什么Binder要限制传输数据的大小 个人推测,作为一种IPC的方式,Binder并不是为传输大量数据而设计。 传输大量数据,可以考虑URL之类的方法。

    1.7K30

    tomcat文件上传大小限制_tomcat调整内存大小

    Get方法长度限制 Http Get方法提交的数据大小长度并没有限制,HTTP协议规范没有对URL长度进行限制。这个限制是特定的浏览器及服务器对它的限制。...POST方法长度限制 理论上讲,POST是没有大小限制的。HTTP协议规范也没有进行大小限制,起限制作用的是服务器的处理程序的处理能力。...如:在Tomcat下取消POST大小限制(Tomcat默认2M); 打开tomcat目录下的conf目录,打开server.xml 文件,修改maxPostSize=”0″ (设为0是取消POST的大小限制...对于TCP而言,通信次数越多反而靠性越低,能在一次连结中传输完需要的消息是最可靠的,尽量使用GET请求来减少网络耗时。...4、GET提交的数据大小,不同浏览器的限制不同,一般在2k-8K之间,POST提交数据比较大,大小靠服务器的设定值限制,而且某些数据只能用 POST 方法「携带」,比如 file。

    4.5K30

    kafka消息传递语义

    Kafka 的语义是直截了当的。 当发布消息时,我们有一个消息被“提交”到日志的概念。 一旦提交了已发布的消息,只要复制该消息所写入分区的broker保持“活动”,它就不会丢失。...同样从 0.11.0.0 开始,生产者支持使用类似事务的语义将消息发送到多个主题分区的能力:即所有消息都已成功写入或没有消息写入成功。 主要用例是 Kafka 主题之间的恰好一次处理(如下所述)。...消费者的位置作为消息存储在主题中,因此我们可以在与接收处理数据的输出主题相同的事务中将偏移量写入 Kafka。...写入外部系统时,限制在于需要协调消费者的位置与实际存储为输出的内容。 实现这一点的经典方法是在消费者位置的存储和消费者输出的存储之间引入两阶段提交。...否则,Kafka 默认保证至少一次交付,并允许用户通过在处理一批消息之前禁用对生产者的重试和在消费者中提交偏移量来实现至少一次交付。

    1.1K30

    消息队列-Kafka(1)

    相同Topic下不同Partition可以并发接收消息,同时也能供消费者并发拉取消息。有多少Partition就有多少并发量。 在Kafka服务器上,分区是以文件目录的形式存在的。...每个分区目录中,Kafka会按配置大小及配置周期将分区拆分成多个段文件(LogSegment),每个段由三部分组成: - 日志文件:*.log - 位移索引文件:*.index - 时间索引文件:*.timeindex...其中*.log用于存储消息本身的数据内容,*.index存储消息在文件中的位置(包括消息的逻辑offset和物理存储offset),*.timeindex存储消息创建时间和对应逻辑地址的映射关系。...如果每个消息都要在index中保存位置信息,index文件自身大小也很容易变的很大。所以Kafka将index设计为稀疏索引来减小index文件的大小。...2.4 Kafka可视化及监控 2.4.1 AKHQ 管理Topic,Topic消息,消费组等的Kafka可视化系统,相关文档:https://akhq.io/ ?

    1.1K10
    领券