我们有一群生产者向一群消费者发送消息/事件。每条消息只能由一个消费者使用。我们知道，使用Kafka中的消费者组可以很容易地实现这种常见的场景。然而，我们也有一些额外的约束:不是每个消费者都可以使用每条消息。消息有附加的(任意)要求，只有满足这些要求的消费者才必须处理它们。我们也不能设置多个主题，因为对使用者的要求是由用
浏览 26提问于2020-12-17得票数 0
我有以下架构：我很困惑
1) whetherI can run kafka producer, broker and consumer on sepa
浏览 6提问于2015-11-02得票数 0
回答已采纳
1回答
公共部门在卡夫卡是如何运作的？我读到了卡夫卡的主题--分界理论，它提到In one consumer group, each partition will be processed by one consumer only.现在有两个案例：-
如果生产者没有提到分区键或消息键，则消息将均匀分布在特定主题的分区中。如果我生产的产品是特定的分区，那么其他消费者(或订户
浏览 4提问于2022-08-22得票数 0
我使用Strimzi操作符在Kubernetes上部署了一个带有消费者和生产者客户端的kafka集群。我正在使用Kafka exporter来监控与消费者相关的指标(每个主题每秒传入/传出的消息、消费者组的滞后、偏移量等)。但是，我感兴趣的是将Prometheus配置为抓取kafka_exporter指标"kafka<
浏览 102提问于2021-07-20得票数 0
回答已采纳
1回答
我想使用Kafka在微服务之间发送消息。它就像一个http服务器，监听传入的请求。我认为，由于副作用，它需要一个IO Monad，这是即将发生
浏览 1提问于2017-11-10得票数 3
我们在一个亚马逊网络服务EC2实例上安装了kafka和zookeeper。我们有kafka生产者和消费者运行在不同的ec2实例上，它们在同一个私有网络上，与kafka实例具有相同的安全组。在生产者或消费者配置中，我们使用kafka服务器的内部IP地址来连接它。但是我们注意到，为了让生产者和消费者</em
浏览 3提问于2018-10-31得票数 0
来自我的kafka生产者的一些消息超过了默认的1MB，并且被代理拒绝。
我无法访问代理和消费者来进行更改。因此，我只需要在生产者级别进行更改。我正在考虑在我的producer中使用batch.size到5MB的snappy压缩。请让我知道这是否是正确的选择或任何其他方式可用于我的用例。谢谢
浏览 0提问于2020-07-23得票数 0
2回答
是否可以创建主题名称的别名？如果用户写到topic examplea，是否可以在代理上覆盖它，这样他们就可以真正写到topic exampleb？或者，如果主题实际上是作为examplea编写的，但消费者可以将其称为exampleb。我认为这可能可以通过在代理上使用小黑客来实现，在那里它回复元数据请求，但如果它可以以某种标准的方式完成，我宁愿不要这样做。
浏览 0提问于2016-06-26得票数 7
我有一个生产者(PublishKafka__10处理器)和一个消费者(ConsumerKafka__10处理器)来接收来自Kafka集群的流文件。我在Nifi UI管理上看到，生产者总共收到了7个包，但消费者只收到了4个包。我还使用kafka_console_consumer.sh查看producer中的包，它显示了整个7个包。我不知道为什么在哪里丢失了3个来自consumerKafka__10 processor<
浏览 2提问于2017-06-09得票数 1
1回答
我想知道当我们有200个动态分片，被100个实例读取，最终将数据转储到具有50个分区的Kafka主题中时，会发生什么？因为一个Kafka分区一次只能被一个实例订阅。
浏览 17提问于2021-05-20得票数 0
我阅读了一些文档，并观看了一个关于Spring Cloud数据流(SCDF)的网络研讨会。我了解不同的绑定选项(RabbitMQ，Kafka，...)用于此框架中不同微服务之间的通信。SCDF“只是”使用Kafka代理进行内部通信，以及-可选的-用于微服务内的业务逻辑(例如，通过使用Kafka生产者或消费者API，对吗？即使我在SCDF中使用Mesos或<
浏览 0提问于2017-10-25得票数 1
我希望在这里得到一些关于kafka连接配置属性的澄清，我很难理解如何理解前缀，以及connect如何提取和使用属性。我假设kafka connect使用的java api客户端将从属性文件中提取连接属性。它可能有一些
浏览 0提问于2019-09-04得票数 0
1回答
我想知道有没有最好的方法/实践来从消费者/生产者那里查找kafka broker，这样当应用程序从一个环境(如Dev)转移到其他环境(如ST、UAT、Prod)时，我们就不需要更改消费者/生产者代码。目前，所有示例都显示消费者/生产者需要知道集群中kafka broker的IP地址和端口号。
提前感谢您的建议和意见。
浏览 10提问于2017-06-29得票数 0
2回答
Kafka Rest示例
、、、
有没有使用Java中的Kafka rest api的生产者和消费者组的好例子。我不是在寻找生产者和消费者的简单消费者或卡夫卡客户端的例子。任何帮助都会被接受。
浏览 2提问于2016-08-17得票数 3
回答已采纳
我是卡夫卡的新手。我正在设计和开发一个Kafka解决方案来读取Oracle表(Kafka Connect或CDC在我的组织中还不是一个选项)，并将这些大量的记录发送给Kafka Brokers，最终将被消费者收集并发送到目标系统我的卡夫卡生产者和消费者代码能在同一个Spring应用中吗？还是我需要让我的AppName-生产者和A
浏览 3提问于2022-05-08得票数 1
我已经在本地机器上设置了apache kafka，并且工作正常，当我将一条消息发布到生产者中时，它立即在消费者提示中流动。
可以从我的本地文件夹配置连续文件流吗？我该怎么做呢？我可以编写一个java应用程序来配置我的生产者吗？
浏览 0提问于2016-07-28得票数 0
我试图为我的Kafka集群(即生产者->主题->消费者)绘制一个总体拓扑结构。问题
架构注册表是否允许我们将元数据与生产者和/或主题相关联，或者以其他方式创建所有生产者到特定主题
浏览 5提问于2021-02-01得票数 0
我想知道spring boot内部的spring kafka Producer是否保证交付。
有人知道如果某个随机监听器无法接收消息会发生什么情况吗？spring kafka是否会重试发送消息？
浏览 0提问于2019-05-29得票数 0
我们怎样才能确保卡夫卡在阅读过程场景中精确的一次语义。阅读意味着我们正在阅读卡夫卡的主题，并做一些处理，然后我们试图提交偏移。假设，我们处理了消息，但无法提交并在提交之前进程崩溃。重新启动后，再次尝试使用相同的消息。那么，如何处理这种情况呢？这能用Kafka事务API来处理吗？
有类似的问题，但不能正确地理解它，也留下了很少的评论。只是想证实我的理解。
浏览 7提问于2022-01-03得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
