2回答
因此，下次系统开始从kafka读取数据时，我需要将系统中的旧偏移量之间的数据读取到最新偏移量。但旧的偏移量可能由于kafka保留策略而无效。那么，如果我们在kafka消费者中指定较旧的偏移量，会有什么行为呢？另外，有没有办法获得特定主题/偏
浏览 60提问于2020-09-09得票数 0
3回答
我使用kafka-node来消费来自特定Kafka主题的消息。当我重新启动节点服务器时，它会像预期的那样初始化我的消费者，但它的默认行为是从偏移量0开始消费，而我的目标是只接收新消息(也称为从当前偏移量开始消费)。我没有从API</
浏览 0提问于2016-06-22得票数 6
回答已采纳
1回答
我在Databricks读了下面的博客
1.卡夫卡数据不断被火花工人/执行者中的卡夫卡接收者接收。使用了卡夫卡的高级消费者API。2.接收到的数据存储在Spark的worker/executor内存以及WAL中(在HDFS上复制)。卡夫卡接收机只在数据被保存到日志后才将卡夫卡的偏移信息更新给动物园管理员。现在我怀疑高级用户如何更新动物园管理员<em
浏览 1提问于2017-06-30得票数 1
我想查询Kafka主题中的消息，但不是所有消息，不是从头开始。我只需要查看哪些消息尚未根据消费者组提交。所以，基本上我想要的是删除偏移量低于消费者组偏移量的单据。在这一点上，如果我使用elastic-connector，有没有办法或变通办法在消息被使用和提交后从弹性索引中删除文档？
或者，我应该使用Kafka
浏览 2提问于2021-05-08得票数 0
例如，我的kafka消费者(在consumer Group 1中)正在阅读来自Kafka主题A的消息。
现在，如果该消费者在失败之前消费了12条消息。当消费者重新启动，并且现在它有不同的消费者组(即消费者组2)时，问题1 -？在重启时，它会从偏移量(或位置)中停止的地方继续，因为该偏移
浏览 1提问于2021-02-04得票数 0
我正在使用reactor-kafka库和spring webflux SSE流消费来自kafka主题的数据。当来自主题的所有消息都被消费完时，我需要返回一个特殊的ServerSentEvent，即最大主题偏移量get等于订阅时从0偏移量开始消耗的当前偏移量。以便客户端知道在kafka topic中</e
浏览 7提问于2021-06-28得票数 1
我刚接触Kafka，到目前为止，我对消费者的理解是，基本上有两种类型的实现。2)
高级抽象最重要的部分是当Kafka不关心处理偏移量时使用它，而简单的使用者对偏移量管理提供了更好的控制。让我困惑的是，如果我想在多线程环境中运行消费者，又想控制我使用的消费者组，这是否意味着我必须从存储在zookeep
浏览 1提问于2013-08-01得票数 7
librdkafka包含函数rd_kafka_position，它获取给定主题-分区的当前偏移量。但评论说：寻求一个已知的位置(在错
浏览 6提问于2020-07-24得票数 2
我使用的是Kafka Stream API。当我启动我的应用程序时，有时会有一个间隙，我想从一个特定的偏移量开始消费。最早或最晚的不是我想要的。streamProperties.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); 我正在寻找的是一个场景，比如我在配置文件中设置了<e
浏览 25提问于2020-05-02得票数 2
回答已采纳
是否有更有效/更简单的方法来使用最新的Java客户端2.4API获取主题/分区的大小/最新偏移量？然后，通过将消费者组的偏移量与主题的大小进行比较，计算消费者群体的滞后.我知道以前的Kafka版本也问过这个问题，也有一种方法可以从Kafka公开<
浏览 2提问于2020-02-05得票数 3
回答已采纳
显然，在早期的kafka版本中，某个消费群体的消费者列表存储在zookeeper中。对于最新的kafka版本，这些信息存储在哪里？
浏览 18提问于2019-12-21得票数 2
回答已采纳
我知道我们可以获得消费者组的列表，然后将任何一个消费者组传递到特定的主题，以确定消费者偏移量。步骤1:使用以下命令获取消费组列表从获得的消费者列表中，选择一个消费者组步骤2:获取特定
浏览 3提问于2018-10-09得票数 5
1回答
我计划在Informatica中使用Kafka数据对象。我想每5分钟通过Informatica从Kafka读取数据。我很少有疑问，卡夫卡如何认识到当前的偏移，从它必须加载。我们可以设置一个主题的偏移量，Informatica需要从它加载Kafka数据对象中的增量或更改的数据吗？我找到了以下答案，请您纠正我的确切过程: 1)动物园管理员是否将当前偏移量存储到加载数据
浏览 2提问于2017-06-30得票数 0
如何设置spark作业以基于kafka topic从specific offset中获取timestamp？假设我需要从一个卡夫卡主题starting 6 hours ago中获取所有数据。
浏览 0提问于2018-05-03得票数 1
回答已采纳
我一直在使用kafka主题的事件，在我的应用程序中处理同样的事件已经有一段时间了。该主题有20个分区，我将kafka并发设置为10，因为我使用来自kafka主题的事件和我的应用程序的2个副本。由于我使用手动提交调用确认(我使用的是spring + kafka技术栈)，因此一旦成功地对特定偏移量
浏览 9提问于2021-01-30得票数 2
1回答
我想在kafka中阅读从特定时间开始的所有消息。假设我想读取0600到0800之间的所有消息 Request messages between two timestamps from Kafka建议使用offsetsForTimes作为解决方案。该解决方案的问题是:假设我的消费者每天在1300打开。消费者当天不会读取任何消息，这实际上意味着在0600处/之后没有提交<em
浏览 30提问于2019-03-11得票数 1
在Kafka v1.x.x及更高版本中，如果我有消息的主题偏移量和分区，是否有可能获得消息时间戳。那是
预期的O/P :消息创建该消息的时间戳
解决这一问题的一种方法是使用、查找、分配和开始使用消息。消费后，获取消费者记录时间戳。但是，我想知道Java/Scala/Cons
浏览 1提问于2019-06-04得票数 0
回答已采纳
2回答
我观察到的是，Zookeeper中没有Consumer offset管理。这是因为Schema Registry的设计方式--不是在Zookeeper中存储偏移量，而是在Kafka中存储偏移量，或者这是Kafka中压缩日志/主题的标准设计模式吗？
浏览 0提问于2017-10-16得票数 0
我想删除一个Kakfa消费者组，这样当应用程序创建一个消费者并订阅一个主题时，它可以从主题数据的开头开始。这是使用当前最新的Confluent平台3.1.2的单节点vm开发，该平台使用Kafka 0.10.1.1。我尝试正常的语法： sudo /usr/bin/kafka-consumer-groups --new-consumer --bootstr
浏览 253提问于2017-03-03得票数 20
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
