1回答
我有一个kafka集群，其中包含的特定主题分区太少，因此收集了大量积压的消息。在我添加额外的分区后，只有新的消息在所有新的分区之间平衡。平衡所有新分区中原始分区中的“旧”消息积压的首选方法是什么？ 我想重新读取和写入所有消息，并相应地更新偏移量，但如果新的消费者组将从该主题<
浏览 10提问于2019-01-27得票数 1
1回答
我们如何在Kafka主题中使用来自多个分区或单个分区的自定义消息？
当我在卡夫卡主题中使用来自多个分区的消息时，如何只读取1条消息？
浏览 1提问于2018-07-06得票数 0
我有两个应用程序，一个是Kafka的普通用户，另一个是基于gRPC的微服务。Kafka消费者只负责消息的消费，业务逻辑驻留在微服务中。此外，我们的Kafka主题中的消息键为空，因此Kafka将消息循环分配给分区，该分区将传入的消息均匀地分配到所有分区。我的g
浏览 0提问于2019-08-11得票数 0
1回答
考虑到您的生产者为系统的用户创建消息，并且这些消息的顺序在用户级别很重要。我的生产者将消息添加到有两个分区的主题中，我使用针对user_id的散列将每个用户的所有消息放在相同的分区中，以保证顺序。 如何在保持消息顺序的同时，扩展系统并向主题添加更多分区？<e
浏览 14提问于2019-03-18得票数 2
2回答
我们知道，在kafka 0.8中，producer直接连接到broker，它不连接到zookeeper。如何在每个请求的基础上实现基于zookeeper的负载平衡？实际上，当创建一个主题时，它的分区将分布在一个或多个代理中。在发送消息时，会根据消息的关键字将消息发送到某个分区。也就是说，某个对象必须被发送到固定代理上的固定分区。所谓的负载
浏览 3提问于2013-01-15得票数 1
1回答
我使用的是spring kafka模板来写消息到一个kafka主题中，下面的接口用于发布消息。public ListenableFuture<SendResult<K, V>> send(String topic, K key, @Nullable V data) {... } 使用此接口的好处是它返回一个sendResult对象，该对象具有一些元数据，如主题、分区、标题等。现在的问题是
浏览 41提问于2020-11-18得票数 0
回答已采纳
1回答
如果我们在Kafka中有一个有4个分区的主题。有4个发布者在同一主题中发布消息。所有发布者发布不同数量的消息，如publisher1发布W消息，publisher2发布X消息，Publisher3发布Y消息，Publisher4发布Z消息。 每个分区中有多少条消息？
浏览 12提问于2020-11-19得票数 1
回答已采纳
假设我有一个包含1000个节点的Kafka集群。假设某个生产者向某个主题发送了一条消息，集群中第一个接收该消息的节点是什么？Kafka集群内部有负载均衡吗？假设此节点没有应将消息推送到的主导分区，它是否可以将消息转发到包含此分区的代理？
浏览 17提问于2021-08-14得票数 0
回答已采纳
2回答
我们面临的挑战是创建一个卡夫卡制作人，它连接到卡夫卡集群，卡夫卡集群生活在库伯奈特斯集群之外。我们有几个基于前提的RDBMS数据库，我们希望将数据直接流到生活在AWS上Kubernetes的Kafka。我们尝试了一些东西，并部署了汇合的开源平台，但到目前为止没有什么效果。有谁对这个问题有明确的答案吗？
浏览 2提问于2018-10-22得票数 3
我有一个Kafka主题，目前有3个分区。我希望我的消费者从相同的分区读取，但每个消息都应该以循环的方式发送到不同的消费者。有可能做到这一点吗？
浏览 0提问于2015-10-22得票数 0
我们正在设计一个Kafka集群(至少3个节点)，它将处理来自一组web服务器的事件。由于日志在很大程度上是相同的，我们计划只创建一个主题(比如webevents)谢谢你，沙罗德
浏览 0提问于2017-05-26得票数 9
回答已采纳
1回答
没有任何分区，星火结构流使用者可以读取数据。我正在使用最新的样本和二进制文件从星火结构化流媒体网站。DataFrame<Row> df = spark .format("kafk
浏览 0提问于2018-11-24得票数 1
回答已采纳
1回答
我正在开发一个使用Akka Kafka连接器的Kafka消费者应用程序。我希望消费者并行处理消息。我应该选择哪个消费群体？？如何在消费者端配置并行度？
浏览 16提问于2020-05-06得票数 0
1回答
我正在进行一个项目，在这个项目中，生产者可以在运行时(而不是固定数量)出现并发布消息。目前，他们发布到在卡夫卡代理中运行时创建的唯一主题(topic.uuid)，我在另一端有一个用户，它订阅了主题。*模式和订阅所有主题，并且随着新主题的到来而重新平衡in.Is它是正确的方法吗？现在，我感到困惑的是，我们应该有一个具有多个分区的主题，还是有一个分区each.Technically的多个主题，这是相同的。但是，获得新<e
浏览 1提问于2016-11-19得票数 6
我使用的是Axon版本(3.3)，它在SpringBoot主类中使用在我们的用例中，命令端微服务需要从kafka主题中挑选消息，而不是将其公开为Rest api。它会将事件存储在事件存储中，然后将其移动到另一个kafka主题，供查询端微服务消费。
由于KafkaAutoCOnfiguration被禁用，我不能使用spring-kafka
浏览 18提问于2019-07-12得票数 0
我刚刚开始对Kafka的探索，我无法理解kafka中什么是键值的需要，因为我们也可以直接发送消息，像JMS这样的单个字符串。通过指定键可以从记录中获取值吗？(我正在将它与JMS中的选择器进行比较，因此我们可以在此基础上过滤消息)。
我们如何通过消息传递标头？是否有可能只发送带有标题而不是键值对的消息？
浏览 3提问于2019-09-22得票数 0
回答已采纳
我仍然不能清楚地理解并行性，比方说，我们有一个flink集群，它有足够的插槽。在我们的flink工作中，我们从3个不同的kafka集群中使用3个kafka主题，每个主题有10个分区。如果我们想尽快使用该消息。并行性应该是什么？
如果我们将并行性设置为10，那么就会使用10个槽，这意味着，根据我的理解，10个线程对吗？如果我们将并行性设置为30，那么就有30个线程，但这30个线程是否足够聪明，它们中的10个会转到topic_1，10个会
浏览 0提问于2019-03-13得票数 12
回答已采纳
我想找出将消息从Kafka路由到连接到负载均衡应用服务器集群的web套接字客户端的最佳方法。以下是我想要满足的要求，其总体目标是在拥有大量用户的应用程序中方便对等消息传递：
消息保存在数据库中，并发布到一
浏览 4提问于2019-10-15得票数 5
回答已采纳
我在Kafka上创建了一个带有4个分区的主题。(设置默认的number.partition=4)。现在，我想将本主题的数字分区更改为3。但没有任何变化。它仍然有4个分区。有人知道这事吗？
浏览 6提问于2017-08-04得票数 29
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
