1回答
如何使用KafkaAdminClient (Java)为2.x版本获取卡夫卡主题的最新偏移量/大小
java、apache-kafka
是否有更有效/更简单的方法来使用最新的Java客户端2.4API获取主题/分区的大小/最新偏移量？然后，通过将消费者组的偏移量与主题的大小进行比较，计算消费者群体的滞后.我知道以前的Kafka版本也问过这个问题，也有一种方法可以从Kafka公开的JMX度量中获取这
浏览 2提问于2020-02-05得票数 3
回答已采纳
2回答
了解Kafka结束偏移量和承诺偏移量
python、apache-kafka、offset
我想使用Pyhon和Kafka客户端获取Kafka主题的承诺偏移量和结束偏移量(位置)，而位置是由消费者+主题的分区(KafkaConsumer.end_offsets(partitions))接收的
浏览 3提问于2020-06-07得票数 0
2回答
Kafka消费者偏移量获取
apache-kafka
我使用的是kafka版本，偏移量存储为kafka i.e._consumer_offsets
当消费者停机或不活动时，如何检索消费者偏移量？
浏览 15提问于2018-01-23得票数 2
4回答
Java:当我开始从kafka主题读取时，如何从当前偏移量读取
java、apache-kafka
我使用的是Java api消费者连接器。每当消费者开始阅读一个主题时，它就会从主题的开头开始阅读，并且需要相当长的时间才能赶上最新的事件。我们如何确保消费者从当前偏移量读取数据？
浏览 0提问于2016-07-29得票数 0
1回答
Kakfa Consumer提交我自己的偏移量id不起作用-commitSync(最终Map<TopicPartition，OffsetAndMetadata>偏移量)
apache-kafka、kafka-consumer-api、spring-kafka、kafka-producer-api
我正在使用poll()从一个主题中获取一堆消息(比如100条)。在我的配置中，我将自动提交设置为false，并将max.poll.records设置为100。我将使用收到的100条消息中的10条消息进行处理。因此，我希望收到的其余90条消息是下一个轮询响应的一部分。因此，我提取了第10个消息偏移量，并将其作为参数传递给commitSync() API，如下所示。new OffsetAndMetadata(message.offset(
浏览 20提问于2020-05-18得票数 1
回答已采纳
1回答
如何使用camel-kafka提交偏移量线程安全？
apache-kafka、apache-camel
正如问题How to manually control the offset commit with camel-kafka?中所问的，我希望使用camel-kafka手动提交偏移量。我的路线： .from(kafka:topic1).to(kafka:topic2)
.process(newManualCommitProcessor()) ，其中ManualCommitProce
浏览 23提问于2019-06-22得票数 0
3回答
kafka中的Bootstrap server vs zookeeper？
apache-kafka、apache-zookeeper
为什么不推荐使用kafka-consumer中的zookeeper，为什么建议使用bootstrap服务器？bootstrap-server有什么优点？
浏览 0提问于2017-09-12得票数 36
回答已采纳
2回答
Zookeeper如何从__consumer_offsets主题中检索消费者偏移量？
apache-kafka、apache-zookeeper、kafka-consumer-api、kafka-topic
这是一个基于Armando Ballaci提供的答案的"Where do zookeeper store Kafka cluster and related information?“的后续问题。现在很明显，消费者偏移量存储在Kafka集群中的一个名为__consumer_offsets的特殊主题中。很好，我只是想知道这些偏移量的检索是如何工作的。例如，
浏览 40提问于2020-07-05得票数 1
1回答
从kafka高级消费者获取偏移量
java、apache-kafka
我想在java程序中从高级消费者那里获取kafka消息偏移。因为我使用的是自定义的提交偏移量属性，所以我想测试一下我的自定义提交偏移量是否工作正常。谁能告诉我如何获得补偿？我遇到了几个kafka工具(如getoffsetshell)，但它对我的测试没有帮助。
浏览 1提问于2015-12-07得票数 1
3回答
如何获取消费群体的上次消费偏移量？
java、apache-kafka、kafka-consumer-api
我在一个消费者组中有两个消费者，他们分配了相同的kafka主题分区。我希望从消费者B内部获得消费者A的最后一次读取偏移量。有什么想法，如何实现这一点？
浏览 2提问于2016-08-01得票数 7
回答已采纳
1回答
使用高级消费者API的Kafka offsetcommit请求
java、apache-kafka
我想使用Kafka高级消费者API，同时我想禁用偏移量的自动提交。我试图通过以下步骤来实现这一点。1) auto.commit.enable = false3) dual.commit.enabled = false1)高级消费者API是否会自动从kafka存储中<
浏览 1提问于2015-04-28得票数 5
1回答
当服务器重新启动后未使用消费者group.id时
apache-kafka
当消费者实例group.id在重启时更改时，是否会对kafka性能产生任何影响。较旧的group.id将会发生什么情况?它是否仍然存在于代理内存中，或者何时将被删除？假设我有1000+消费者实例，并且所有实例都在重启时动态分配group.id。
可以为{log.retention.ms'}提供什么列表值。可以设置为1ms吗？
浏览 8提问于2018-08-28得票数 0
回答已采纳
2回答
Kafka消费者偏移量提交后消息先消费
apache-kafka、kafka-consumer-api
我有一个java Kafka消费者，在其中我正在批量获取ConsumerRecords进行处理。external call to a system which can take random time for different requests or timeout in 5 seconds.我遇到的问题是，如果产生了较晚的记录，但前一条记录仍未超时，则如何提交或提交哪个偏移量。假设我在一批中获得了2条记录，第一条消息的外部调用仍在等待，而第二
浏览 2提问于2018-01-05得票数 2
3回答
不清楚卡夫卡中auto.offset.reset和enable.auto.commit的含义
apache-kafka、kafka-consumer-api
我刚接触Kafka，我并不真正理解Kafka配置的含义，有没有人能给我解释一下更容易理解！下面是我的代码： "bootstrap.servers" -> "master:9092,slave1:9092",auto.offset.reset" -> "latest", //earliest or latest
"enable.
浏览 0提问于2017-07-05得票数 21
5回答
Kafka主题和偏移量
apache-kafka
我有一个问题，假设有一个主题T1，有两个消费者C1，C2属于两个不同的组，当前偏移量是0。我们知道Kafka维护consumer.So的偏移量，如果C1消费消息，偏移量变成1，那么如果C2消费消息，它是从1偏移量开始还是从0偏移量开始消费消息？意味着如何维护两个不同消费者组的偏移量？
浏览 1提问于2020-02-20得票数 0
2回答
我在Kafka NodeJS中使用了一个简单的消费者/生产者。我的生产者正在发送消息，我很容易在消费者中获得这些消息。生产者和消费者的代码如下。在消费者中，我期望offset.fetch()给我今天的所有偏移量it，但它没有。KIndly指导我如何从这个方法中获得结果，并且还提到了一个方法，它可以直接给出任何分区主题中的最后</
浏览 1提问于2015-07-29得票数 3
2回答
在Kafka中获取特定主题的消费者列表的命令是什么
apache-kafka
我知道我们可以获得消费者组的列表，然后将任何一个消费者组传递到特定的主题，以确定消费者偏移量。步骤1:使用以下命令获取消费组列表从获得的消费者列表中，选择一个消费者组步骤2:获取特定主题的特定消费者偏
浏览 3提问于2018-10-09得票数 5
1回答
kafka消息监控，显示实际发布或消费的消息
apache-kafka、kafka-producer-api
我在本地服务器上安装了kafka，通过在服务器上运行的一些其他应用程序，生产人员正在将消息发布到我的kafka服务器内的代理，通过zookeeper，我可以很容易地看到我的kafka的健康状况，它显示了在我的kafka服务器中创建的所有主题，主题中的偏移量等等，所以zookeeper唯一不能显示的是单个主题中的
浏览 7提问于2016-08-19得票数 0
2回答
Kafka topic的记录在消费者重启后未被消费
apache-kafka
我在Kafka consumer上遇到了非常奇怪的问题。我的设置如下所示。2个消费者对单个主题进行了投票。我没有在消费者端做任何手动的偏移管理。
现在，当我的消费者宕机时，我几乎没有发布关于我的主题的新消息，通常情况下，当我重新启动我的消费者时，我会得到这些消息。但有一次我观察到，在重新启动消费者后，我无法使用topic中的那些
浏览 10提问于2018-04-11得票数 0
1回答
使用Akka Stream和Kafka offset提交将事件从Kafka流式传输到Couchbase
scala、apache-kafka、akka、akka-stream、alpakka
我正在尝试设计一个Akka Stream，使用Alpakka来读取kafka主题中的事件，并将它们放到Couchbase中。，这个流实际上是从主题中读取事件，并将它们作为json文档放到Couchbase中，尽管我不知道如何将消费者偏移量提交给Kafka，但它看起来甚至很好。如果我已经清楚地理解了隐藏在Kafka消费者偏移量后面的主要思想，在任何故障或重启发生的情况下，流从最后提交
浏览 21提问于2019-10-18得票数 0
云服务器
对象存储
ICP备案
云点播
语音识别
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号