我将根据一些配置动态地获取kafka消息的密钥。现在我想知道，消息密钥长度是否有单独的设置，或者只受(整个)消息大小的限制？ 我尝试搜索此信息，但所有地方都只提到消息大小。
浏览 29提问于2020-09-14得票数 3
我是Apache Kafka的新手，我想知道apache Kafka中的消息可以有多大。如果消息的大小变得相当大，比如说几百MB，使用Apache Kafka是否有效？我在考虑首先将文件复制到Apache Kafka中，然后消费者可以将它们复制到HDFS，而其他消费者可以使用Kafka。这是不是最好的方法？
浏览 0提问于2015-04-29得票数 1
我们使用的是无kafka客户端的node.js。我们有一个文件上传功能，其中文件是json，然后它被读取并转换为Base64，生产者将其发送到Kafka。Kafka的消息大小限制配置为6MB
现在，当我上传一个4.3-4.4Mb大小的文件时，它会到达Kafka并被处理。在client.js文件中，我在生成请求的方法中打印了请求长度和消息集长度。当我打印4.5MB文件的消息长度时，它显示请求长度为6432489，大于6
浏览 4提问于2017-10-25得票数 0
注意到一个问题，其中Kafka消费者组(用java实现)始终遗漏了来自代理的几条消息。作为调试的第一行，通过kafka控制台使用者，我可以在代理中看到这些消息。Kafka broker版本: 0.10.1.0<dependency> <artifactId>kafka_2.11<&#x
浏览 2提问于2017-12-22得票数 6
目前，我们使用Flink FsStateBackend检查点并设置fileStateSizeThreshold，将写入HDFS上avro/json文件的数据大小限制在128 on。由于我们在新项目中没有使用高级Flink特性，所以我们希望使用Kafka Connect HDFS Connector中的Kafka流直接将消息写入hdfs (而不是旋转Flink)。但是，我无法找到限制卡夫卡连接器中hdfs文件的文件大小的选项，除了flush.size，它似乎<e
浏览 0提问于2018-08-08得票数 1
回答已采纳
3回答
我有一个Spring应用程序，它听了Spring的一个Kafka主题。在使用消息之后，将使用消息中的信息执行几次web/rest服务调用，以收集其他一些数据，这一过程需要一些时间才能完成。因此，我使用一个大小为20的线程池来创建并行消息处理。
这个系统通常运行良好，但很少有大量的消息(大约200 K)在短时间内(1秒)向Kafka主题发送/生成消息。将线程池大小增加到某个点可能是一种改进，但它不是解决此问题的永久解
浏览 4提问于2021-01-02得票数 0
1回答
我正在尝试读取100k文件并将其发送到kafka主题。这是我的Kafka代码，它将数据发送到Kafka-console-consumer。;import kafka.producer.ProducerConfig;
stream.forEach(System.o
浏览 21提问于2016-09-22得票数 2
当我使用： bin/kafka-console-consumer.sh --consumer.config kafka.properties --bootstrap-server myBroker1:6643,myBroker2:6643 --topic myTopic --from-beginning 我检索了大约一天的消息，尽管我的日志有168小时的保留时间，并且没有大小限制。
浏览 38提问于2019-09-26得票数 0
当我尝试发送超过1Mb大小的消息时，我得到Message size too large异常。当我尝试生成一条消息时，错误出现在我的客户端应用程序中。在用谷歌搜索了一下之后，我发现应该改变设置以增加最大消息大小。嗯，我在/kafka/config/server.properties文件中这样做了。我添加了下面两个设置：replica.fetch.max.bytes=15728640
另外，我在/
浏览 9提问于2019-12-13得票数 11
回答已采纳
下面是我的生产者配置，如果您看到他们的压缩类型是gzip，即使我提到了为什么消息没有发布并且失败的原因是压缩类型 props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializerc.tgt.trans.producer.Edi856Producer - Excep
浏览 0提问于2017-12-07得票数 1
样本代码： bootstrap_servers=config["kafka"]["brokers"].split(','),
value_deserializer=lambda m: json.loads(m.decode('ascii'))
浏览 3提问于2021-04-14得票数 0
我目前正在使用我们基于Kafka的数据分析管道从源系统获取大量日志文件。在摄取期间，我没有在producer中使用任何形式的延迟/暂停，我只是从日志文件(包含JSON)中读取并将其发送给Kafka。sasl.kerberos.kinit.cmd = /usr/bin/kinittimeout.ms = 30000
key.serializer = class org.apache.kafka.common.serialization.IntegerS
浏览 1提问于2018-05-08得票数 0
如果我们没有提到kafka producer上的压缩类型，如果我们在broker端提到它...性能是如何受到影响的，主题端压缩在哪些批量大小上起作用？
浏览 13提问于2018-08-09得票数 0
1回答
我正在使用Alpakka kafka和scala应用程序。我的Kafka在docker内部运行，我正在尝试使用我的代码在Kafka producer上发布消息。case Failure(e) => }代码没问题，但当我发送大的xml文件时，它会给出an error that org.apache.kafka.common.errors.RecordTooLargeException如何增加最大请求大小。我是卡夫卡的
浏览 4提问于2020-07-17得票数 1
我们正在使用kafka 0.10.x，我正在寻找，如果有办法阻止发行商kafka停止发送消息后，某些消息/限制是在一个小时内达到。这里的目标是限制用户只发送特定数量的消息和小时/天？
浏览 2提问于2017-08-06得票数 3
我刚接触Apache Kafka和它的与API相关的流服务，但想知道是否有任何正式的文档来获取摄取所需的初始原始数据？从本质上讲，我想尝试构建一个初级的密码交易机器人，但我的印象是http API可能比与Kafka Streams集成的API具有更多的延迟。例如，我知道RapidAPI有一个可以访问的http库，可以帮助提取数据，但我不确定如果我想通过Kafka Streams摄取数据，是否有类似的东西。我试着在Google上挖掘，但不是很清楚Kafka Streams采用了什么API或源数据，或者它们是否相同/
浏览 0提问于2021-06-05得票数 0
2回答
我对Kafka2.6.0中的消息大小配置有点困惑。但让我们来说说故事：，卡夫卡允许的最大记录批次大小(如果启用压缩，则在压缩之后)。如果增加了这个值，并且有超过0.10.2岁的使用者，则还必须增加使用者的获取大小，以便他们能够获取这么大的记录批。在以前的消息格式版本中
浏览 5提问于2020-11-05得票数 5
回答已采纳
1回答
我有kafka streams应用程序，它使用会话窗口，在指定的窗口期间，给定密钥的消息数量可以增长超过30MB，这超过了写入状态存储主题时的max.request.size。有没有办法在大小(MB)或计数(消息数量)方面对会话窗口的大小进行限制？
我希望利用Kstream的一些功能，而不是从头开始实现它。
浏览 1提问于2021-01-12得票数 1
我试图在nodejs中使用Kafka节点创建kafka制作人的消息块，但没有得到任何解决方案。因此，现在我正在使用Java创建一个Kafka流生成器，我需要发送大小大于1MB的大型消息。
浏览 0提问于2019-09-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
