如何查看kafka中消息的进度状态？

文章/答案/技术大牛

发布

1回答

apache-kafka、kafka-consumer-api、spring-kafka、kafka-producer-api

我已经用java设计了REST Post API，它实际上将消息发布到特定的Kafka主题，比如说它的"ProductTopic“。在后台，一个微服务正在监听这个"ProductTopic“主题，并开始使用该消息并保存到DB。现在，我想编写一个GET REST API来查看作业的进度(给出作业的输出)，比如有多少消息被成功使用，以及如何仍未完成。这样最终用户就会对发生了什么有一个

浏览 24提问于2020-12-08得票数 0

回答已采纳

1回答

使用轮询方式消费Kafka消息

apache-kafka、kafka-consumer-api

我是Kafka的新手，我正在使用Kafka 1.0。我使用pull模式阅读Kafka消息，也就是说，我会定期poll() kafka主题以获取新消息，但我没有将偏移量写回Kafka。我会问kafka如何知道我消耗了哪些偏移量，或者Kafka记住进度的机制是什么(Kafka偏移量)

浏览 9提问于2020-05-20得票数 1

回答已采纳

2回答

如何仅查看已提交的kafka消息

apache-kafka

我目前正在使用Kadeck社区，有时在docker上使用命令来查看保存在kafka上的消息，但现在我正在测试事务语义，我只想查看提交的消息。我很难做到这一点。任何人都知道如何只查看提交的消息，即使使用其他第三方应用程序，如Kadeck。谢谢!

浏览 0提问于2020-02-18得票数 0

2回答

为web服务创建队列

web-services、queue

每隔一段时间(每30分钟左右)，这些数据的摘要就会被写出来，并将摘要发布到数据库中。我试图避免这个程序在webservice API超时时锁定的问题。我应该如何创建这个队列？用某种数据库？我想，它可能是一个程序，将排队的项目存储在内存中。是否有为webservice调用创建队列的标准流程？

浏览 0提问于2015-06-11得票数 1

1回答

事件存储中的数据是什么样子的？

akka、akka-persistence

我理解事件来源是存储代表状态变化的事件，而不是状态本身。所以在我的例子中，我从Kafka获得消息，每条消息都是用JSON编码的，其中有50个字段，比如这个{key1: val1, key2: val2, .......key50: val50}，每条消息都有这些键的全部或子集现在，我的目标是将这些消息流存储为Cassandra中的</em

浏览 2提问于2017-03-15得票数 0

7回答

如何在Kafka中从旧的偏移点获取数据？

apache-kafka、offset、zookeeper、apache-zookeeper

我正在使用zookeeper从kafka获取数据。在这里，我总是从最后一个偏移点获取数据。有没有办法指定偏移量的时间来获取旧数据？有一个选项是autooffset.reset。它接受最小或最大。有人能解释一下什么是最小的和最大的吗？autooffset.reset可以帮助从旧的偏移点而不是最新的偏移点获取数据吗？

浏览 11提问于2013-02-18得票数 36

回答已采纳

2回答

正确地将Flink状态发送给Kafka

apache-kafka、apache-flink、flink-streaming、checkpointing

我输入的Kafka主题有以下格式的数据，并构成session_key的一个会话entry_event(session_key实现非常简单--由session_key实现，将start_event存储到ValueState中，将条目存储到ListState中，然后当end_event到达时，对所有事件运行处理逻辑，并将结果推入输出Kafka主题。我的问题是关于检查

浏览 7提问于2022-01-30得票数 0

回答已采纳

1回答

KTables如何在创业时与卡夫卡互动？

apache-kafka、apache-kafka-streams

我有点搞不懂这在概念上是如何运作的。 kafka流如何保证由kafka broker分配给它的分区与分配给其他主题的分区匹配？好像需要协调一下吗？而且，卡夫卡流总是从一开始就阅读压缩的主题，还是从最新的偏移量中读取？一旦它从压缩的主题中读取消息，它是否提交偏移量？

浏览 2提问于2020-07-31得票数 0

回答已采纳

1回答

列出在一个组中以分布式模式运行的所有Kafka连接工作人员。

apache-kafka、apache-kafka-connect

我想列出所有以分布式模式在一个组中运行的Kafka连接工作人员。我的用例是，如果某个工人因任何原因关闭/死亡，我可以重新创建该工人以再次加入到该组中。而且，所有的工人都将在一个网络上的不同机器上运行。因此，我需要对一个组中的所有可用工人进行集中记录。但是，我找不到一种方法来列出所有的工作人员(领导者节点和跟随节点)。有人能告诉我怎么做到的吗？

浏览 1提问于2022-03-01得票数 0

1回答

最佳实践:异步处理的同步响应

c#、asp.net-web-api、kubernetes、apache-kafka、distributed-computing

Web在端点处接收客户的信用卡请求数据。端点发送带有此数据的消息给卡夫卡。在本主题中，将连接到卡夫卡，用于并行处理每个请求。应用程序需要很高的异步处理能力。发送请求后，前端将显示一个进度条并等待。一旦进程完成，它需要一个响应。如何在对此端点的同一个调用中返回将在另一个web项目中完成的处理结果？(异步) 在Kafka中创建一个主题，在将Credit

浏览 2提问于2020-05-21得票数 0

1回答

了解flink保存点和检查点

scala、persistence、apache-flink、failover、checkpoint

考虑具有如下管道的Apache流应用程序：其中，每个flatMap函数都是一个无状态运算符当传入消息在flatMap 3上挂起时，检查点/保存点是如何工作的？消息是从flatMap 1开始重新启动后重新处理，还是跳到flatMap 3 我有点困惑，因为似乎将应用程序状态

浏览 2提问于2019-03-04得票数 0

3回答

Broker (Kafka和RabbitMQ)

rabbitmq、apache-kafka

在讨论卡夫卡和RabbitMQ的区别时，“哑巴经纪人”和“智能经纪人”在与消费者的互动中不断出现。卡夫卡被描述为有一个愚蠢的经纪人，而RabbitMQ据说有一个聪明的经纪人/愚蠢的消费者模型。我熟悉卡夫卡的基础知识，并对RabbitMQ有更多的了解。然而，RabbitMQ的哪些功能使经纪人比卡夫卡更聪明呢？

浏览 5提问于2017-08-28得票数 11

1回答

经典ASP -在加载页面时显示进度条

asp-classic、progress-bar、progress

用户单击“查看详细信息”按钮可转到“查看详细信息”页面。页面在很长时间内处于挂起/冻结状态，然后显示详细信息。我想在显示数据之前向用户显示一条进度条或一条消息，上面写着“数据仍在加载”。在后台获取数据时，如何在ASP网站中显示进度条？加载数据后，进度条应消失。在ASP代码中是否有显示进度条的选项？任何有关

浏览 3提问于2014-01-21得票数 0

回答已采纳

2回答

在这种情况下使用Apache有意义吗？

apache-kafka、messaging、apache-kafka-streams、apache-kafka-connect

所以他们中的一个会得到问题，然后做一些事情，然后改变这个问题的状态。其他可能涉及这一问题的应用程序应该获得新的信息。这种情况一直持续到问题达到最终结束状态为止。问题在于必须映射问题，因为这些应用程序并不都支持相同的数据格式。谢谢你<e

浏览 2提问于2017-10-11得票数 1

回答已采纳

1回答

有没有办法将JMeter配置为监听kafka主题？

jmeter、apache-kafka

我们有一个公开HTTP端点的系统，该端点触发一些内部操作并将消息异步发送到kafka队列。我们希望在输入是HTTP请求，预期输出是发布到队列的消息的情况下测量性能。我们正在评估JMeter是否是进行此类测量的合适工具。虽然HTTP请求是微不足道的，但Kafka listener一点也不重要。有没有办法配置/扩展JMeter以读取来自特定主题的消息并(理想情况下)在其上放置一些断言？

浏览 0提问于2018-07-31得票数 3

1回答

在有窗口的Kafka* Streams应用中进行缓冲*

apache-kafka、streaming、apache-kafka-streams

在我们的应用程序中，我们试图从输入主题中获取JSON消息，将它们组合在给定的窗口中，并将它们写出到目标主题。mergeJsonNodes是负责合并两个JSON对象的函数。我们所看到的是，我们的streams应用在源主题上进展缓慢，并且每分钟提交一次目标主题。然而，它从输入主题中摄取的速度太慢，无法跟上我们致力于该主题的生产流量。我们正在从一个非窗口化、非分组的streams应用程序迁移过来，该应用程序几个月来一直运行

浏览 31提问于2018-12-20得票数 0

1回答

Spring Kafka会在不同的分区中重试挑选消息吗？

spring-kafka、spring-retry

我想知道Spring Kafka如何处理分配给一个实例的多个分区的重试。Spring Kafka是否会根据重试策略和退避策略不断重试相同的消息，还是会重试，在重试之间，是否会从其他分区发送消息？是行为： A)重试消息->重试消息->重试消息 B)重试消息-> other消息->重试消息->重试消息

浏览 61提问于2019-04-26得票数 0

回答已采纳

1回答

卡夫卡的Log4J故障转移附录不起作用

log4j2

我正在开发一个使用log4j并将日志写入Kafka的Spring应用程序。我们有一个故障转移机制，当卡夫卡有任何问题时，我们可以写日志到控制台。当Kafka broker处于活动状态时，我启动应用程序，几分钟后停止代理，查看是否将日志写入控制台。我没有看到任何应用程序日志，只是一条错误消息，上面写着“无法在appender中写入Kafka”。我尝试了中的“”推荐，但是日志仍然没有写入控制台。

浏览 9提问于2021-12-21得票数 1

1回答

Apache kafka能否提供异步消息传递服务？

apache-kafka、kafka-consumer-api、kafka-producer-api

我打算使用Spring boot和webSocket以及Kafka实现一个聊天室，但是我需要知道Kafka是否提供了异步消息传递服务

浏览 2提问于2019-07-02得票数 0

1回答

卡夫卡消费者在卡夫卡的原始实例下降之后，直到它恢复正常，才能得到数据？

apache-kafka、persistence

，consumer1 (localhost:9092)，consumer2 (localhost:9093)如果kafka1服务器处于联机状态，则无论kafka2状态如何，发送和接收消息都是正常的。但是，如果kafka1离线而kafka2在线，发送的消息就会被交换--抵消增加，但在kafka1恢复在线之前，consum

浏览 6提问于2017-02-28得票数 0

回答已采纳

点击加载更多