1回答
有没有办法让kafka在一个消费者身上拥有多个主题？这是我的消费者代码，它可以很好地处理单个主题 let consumer = new Consumer( [{ topic: '1234', offset:0, partition: 0 }], autoCommit: true, consumer.on('
浏览 36提问于2019-06-26得票数 1
回答已采纳
我知道Kafka Queue Partition中的所有消息(或偏移量)都有它的偏移量，它负责偏移量的顺序。但是，如果我有一个Kafka Consumer Group (或单个Kafka Consumer)，它正在读取特别是Kafka主题分区，那么它如何维护读取的偏移量消息，以及谁维护这个偏移量计数器？如果消费者宕机，那么新的消费者将如何开始读取下一个未读(或未确认)偏移量。
浏览 18提问于2020-07-04得票数 1
回答已采纳
1回答
弹簧卡夫卡分区
、、、
ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send("test", "testmsg");$ bin/kafka-topics.shlocalhost:2181 --topic testTopic: test Partition: 0 Le
浏览 1提问于2017-08-07得票数 5
回答已采纳
1回答
我有一个kafka使用者，它使用多个主题(30+) &每个主题有6个分区。我想了解单个使用者如何从多个主题(& partition)消费，以及如何安排消费哪个主题、哪个部分、哪个偏移量？我正面临着消费者滞后的问题，我想从多个主题了解更多关于消费者消费的信息。我的问题是关于多个主题的单一消费<
浏览 2提问于2019-12-09得票数 1
1回答
我开发了一个卡夫卡消费者的弹簧靴。我的kafka主题有5个分区。每个分区都有需要按顺序使用的信息。我决定只使用5个线程创建一个使用者，而不是创建5个使用者。在Kafka侦听器中，我定义了RECEIVED_PARTITION_ID来打印分区正在消耗数据的数据。消息从partition3消费JSon消息从partition1消费JSon消息从org.springframework.kafka.KafkaListenerEndpointCo
浏览 1提问于2021-01-15得票数 1
回答已采纳
我已经使用Spring Kafka starter创建了一个Kafka消费者(使用KafkaListener接口)。我在containerFactory中为我的消费者设置了pollTimeout。当我一次发送一批100条消息时，我注意到我的消费者将从该批消息中抓取一些消息，但不是所有消息。我预计消费者会等待5秒，等待额外的记录？: "52428800"
kafka_consumer_partition_fetch_max_bytes
浏览 0提问于2020-05-27得票数 0
我想删除一个Kakfa消费者组，这样当应用程序创建一个消费者并订阅一个主题时，它可以从主题数据的开头开始。这是使用当前最新的Confluent平台3.1.2的单节点vm开发，该平台使用Kafka 0.10.1.1。如果我使用“旧”消费者列出，我看不到我的消费者组(或任何其他消费者组)。sudo /usr/bin/kafka-consumer-groups --zookeeper localhost:2181 --list 如果我使用“新”<
浏览 253提问于2017-03-03得票数 20
回答已采纳
有一个有16个分区的kafka主题我们可以选择从同一个主题(有16个分区)启动多个使用者(具有相同的使用者组名称)。
浏览 3提问于2021-10-09得票数 5
回答已采纳
1回答
我理解kafka将主题的数据安排在多个分区上，并且一个消费者组中的消费者被分配了不同的分区，他们可以在那里接收数据： |____________| |____________| |____________|换句话说，如果我启动两
浏览 6提问于2021-10-22得票数 0
1回答
我已经构建了一个生产者spring cloud stream应用程序，并将kafka作为活页夹。output: producer:
partitionSelectorClass: com.partition.CustomPartition我有两个实例(在单个jvm上运行相同的应用程序)作为消费者。我对kafka群的理解是，消息只会被消费一次，对于同一群中的那些消费者。假
浏览 2提问于2016-09-30得票数 0
4回答
AFAIK但是，在python中使用kafka库时，我遇到了一个奇怪的问题。我用本质上相同的group-I启动了两个消费者，并启动了让它们消费消息的线程。
但是，kafka-stream中的每一条消息都被他们两个消费</
浏览 2提问于2016-07-15得票数 1
我正在尝试为节点中的应用程序设置Kafka队列。我在消费者组中有3个消费者，并且订阅了单个主题，但是当生产者向具有3个分区的主题发送消息时，接收重复消息的消费者组从partition1读取并获取消息，而consumer2也从相同的分区读取并获取相同的消息用于创建消费者组的选项如下所示 consumerOptions = { groupI
浏览 10提问于2019-09-03得票数 2
1回答
我已经在c中创建了kafka consumer，并创建了一个具有10个分区的主题，当我尝试使用consumer读取数据时，它只从2个分区读取，然后显示没有更多的消息。我应该如何将所有10个分区分配给一个消费者，这是将分区分配给消费者的正确方式吗？我已经使用这个存储库和修改了上面存储库的第173和180行号和下面的行构建了自定义消费者，这样我就可以从所有分区消费。for(int partition_number = 0 ; partition_number < 10
浏览 59提问于2021-07-16得票数 0
我想在项目中使用Kafka的消费者和生产者的事务功能。我需要尽可能高效地在Kafka中产生大量的消息。所以我需要一个多线程的消费和生产来满足这个需求。如何使用Spring boot开发多线程消费者和生产者？
浏览 81提问于2020-10-14得票数 0
回答已采纳
我有一个应用程序下载特定的网页内容，从一个从1 Kafka产生的URL流-生产者。我已经创建了一个有5个分区的主题，有5个kafka-consumers。然而，网页下载的超时时间是60秒。当其中一个url正在下载时，服务器会假定该消息已丢失，并将数据重新发送给不同的消费者。是否可以在kafka中将特定的消费者与分区绑定？我在我的应用程序中使用kafka-python
浏览 4提问于2017-08-29得票数 4
回答已采纳
我的produces发送两种类型的消息字符串和序列化的JSON log.debug("Received asset id: {}, with key: {}, Partition: {}, Offset: {} ", payload, cr
浏览 0提问于2020-02-13得票数 1
与无卡夫卡，我可以看到3个消费者创建的分区计数和所有驻留在同一台机器。下面是代码和运行模型的快照。, function (m){>fine>how>you
下面的是消费者的输出.: 58 , Message:
浏览 8提问于2019-12-23得票数 1
回答已采纳
2回答
我想以编程的方式重读所有的Kafka事件。我知道有一个Application Reset Tool，但据我所知，这需要我关闭我的应用程序。我不能在我的用例中关闭应用程序。有没有办法让我的应用程序重新读取关于Kafka主题的所有事件？示例或代码片段将非常感谢。优选地，但不一定使用Kafka流。
浏览 33提问于2020-09-01得票数 0
回答已采纳
我刚接触kafka，所以很难理解pubsub模型。假设我有一个包含2个分区的主题(让我们称它们为partition1，partition2)consumer1、consumer2 -->属于consumerGroup1，每个都绑定到partition1和partition2让我们假设所有3个消费者都
浏览 2提问于2021-11-24得票数 0
1回答
我有以下结构：kafka: kafka_2.11-1.1.0server2: zookeeper + kafkatest-flow Partition: 2 Leader: 2 Replicas: 2,1,3 Isr: 2,1,3Received FindCoordinator responsePartition: 2 Leader: 2
浏览 0提问于2018-06-20得票数 9
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
