1回答
我有一个有4个分区的Kafka主题，我正在创建一个使用python编写的应用程序，该应用程序使用该主题中的数据。 我的最终目标是在应用程序中拥有4个Kafka消费者。因此，我使用类KafkaClient在应用程序启动后立即获取分区的数量，然后，我创建了4个线程，每个线程负责创建使用者和处理消息。由于我刚接触Kafka (以及python )，我不知道我的方法是否正确，或者它是否需要增强(例如，如果消费者失败了怎么办)
浏览 19提问于2021-03-16得票数 0
回答已采纳
基于Kafka文档:可以通过拥有一个具有多个分区的主题，然后创建一个最多具有与分区数量相同数量的消费者实例的消费者组，来提高Kafka中的吞吐量。这样，每个使用者实例都被分配了自己的分区。我可以创建一个具有多个分区的主题，然后配置flume-kafka-channel以使用该
浏览 31提问于2019-05-30得票数 1
我希望每个主题只有一个分区，并且每个主题需要的存储空间有限(<1MB)。如果这有什么不同，那么也可以考虑一个具有数百万个分区的主题。非常感谢任何建议，非常感谢
浏览 18提问于2018-01-18得票数 1
回答已采纳
我能有不同的卡夫卡主题与不同数量的分区在同一个消费者组？如果是这样的话，我是否可以将使用者比例到具有最多分区的主题的数量？谢谢
浏览 4提问于2022-07-05得票数 0
回答已采纳
1回答
我们的团队正在将Kafka与一个用于实时显示数据的烧瓶应用程序集成在一起，但我们也想显示卡夫卡的历史数据。关于如何更快地获取卡夫卡
浏览 5提问于2020-11-15得票数 1
回答已采纳
1回答
当为弹簧云流Kafka消费者设置DLQ时，DLQ所写的主题能被分区吗？我有一个要求，使键相等于一个特定的字段，我想知道这是如何可能的春天云流。
浏览 2提问于2018-11-14得票数 1
回答已采纳
3回答
Kafka与消费者的交互方式与Pub-Sub消息相同，直到新的消费者订阅了与“Group-1”相同的主题“Top-01”和“Group ID”。一旦新的消费者到来，卡夫卡将其操作方式转换为共享模式，并在两个消费者之间共享数据。这种共享将继续进行，直到使用者的数量达到为该特定主题配置的分区数为止。一旦用户的数量超
浏览 9提问于2017-06-22得票数 1
回答已采纳
我在同一个代理上有两个Kafka主题，这两个主题都使用相同的UUID作为分区程序，UUID确定记录将发送到哪个消费者。如果在两个主题中使用相同的UUID，是否可以保证两个主题的记录到达相同的消费者，我认为不会。
浏览 7提问于2020-12-04得票数 0
回答已采纳
1回答
我正在进行一个项目，在这个项目中，生产者可以在运行时(而不是固定数量)出现并发布消息。目前，他们发布到在卡夫卡代理中运行时创建的唯一主题(topic.uuid)，我在另一端有一个用户，它订阅了主题。*模式和订阅所有主题，并且随着新主题的到来而重新平衡in.Is它是正确的方法吗？现在，我感到困惑的是，我们应该有一个具有多个分区的主题，还是有一个分区each.Technically的多个主题，这是相同<
浏览 1提问于2016-11-19得票数 6
当我有1000个web服务器并且所有的人都对来自一个主题的消息感兴趣的时候。我正在考虑将特定数据写入主题的特定分区，而1000+服务器对该特定分区中的数据感兴趣。实现分配而不是订阅有多好。这种方法具有多大的可伸缩性。我可以指定1000+使用者从特定分区读取数据吗？
浏览 0提问于2018-08-28得票数 3
1回答
我试图让多个用户使用相同的groupId来处理卡夫卡主题的多个分区，这将帮助我扩展消息的消耗。根据Kafka的文件，它说：
如果所有使用者实例都有相同的使用者组，那么记录将有效地在使用者实例上实现负载平衡。每个使用者从一个或多个分区(“自动”分配给它)接收消息，而其他使用者(分配给不同分区)不会接收相同
浏览 1提问于2019-10-14得票数 2
在我的设置中，我有一个包含三个进程(一个服务的3个实例)的使用者组，可以从Kafka消费。我发现发生的情况是，第一个节点正在接收所有流量。所需的行为是所有消息均匀分布在消费者组内的所有实例中，这是我认为应该发生的情况。据我所知，Kafka的工作方式是，它应该在消费者组的所有成员之间均匀分发消息。我的理解正确吗？
浏览 3提问于2014-06-26得票数 11
我一直在使用apache客户端(确切地说是2.3.1版本)库来创建kafka使用者，其中一个分区-一个使用者线程是通过以下计算实现的：它过去是手动缩放的，因此当计算的数量需要增加时，在一台计算机上运行的使用者线程的数量就会相应地减少。该应用程序运行在具有自动缩放功能的k8s集群上。假设我将max和
浏览 0提问于2021-07-09得票数 0
回答已采纳
2回答
我的问题是，接收到特定进程的消息的顺序必须由相同的顺序消息处理。如果其中一条消息失败，则进程必须冻结，直到问题得到解决，尽管所有其他进程都必须继续。在这种情况下，我正在考虑使用卡夫卡。我想到的第一个解决方案是通过消息键使用主题分区。消息的关键是ProcessId。通过这种方式，我可以确定所有的进程消息都将被分割，kafka将保证命令。由于我是卡夫卡的新手，所以我发现分区必须提前创建，这使得一切变得困难。所以我
浏览 0提问于2019-04-19得票数 2
有一个有16个分区的kafka主题我们可以选择从同一个主题(有16个分区)启动多个使用者(具有相同的使用者组名称)。要从多个分区
浏览 3提问于2021-10-09得票数 5
回答已采纳
我想知道是否可以使用下面的方法来增加Kafka消息的并行处理。假设有一个关于N分区的主题。在某种程度上，系统在并行处理方面遇到了瓶颈(N分区还不够)，消息的顺序也很重要，所以添加更多的分区不是一种选择。我在想，也许给分区X，它的使用者可以简单地用相同的键发布它的消息到一个将有多个分区的主题。这样，就会有多个主题的</em
浏览 0提问于2022-01-11得票数 0
1回答
1)有谁能解释一下卡夫卡消费者是如何了解分区的，如何消费特定分区的数据的？2)我有3个分区和数据存储在所有分区中，那么，如何从使用者那里获得顺序顺序的消息(msg)。
浏览 3提问于2014-11-24得票数 4
1回答
因此，我有一个消费者组在运行并侦听来自某个主题的消息。如何将更多的消费者实例添加到消费组中？如果这就是我收听消息的方式 let consumer = new kafka.ConsumerGroup(options, topicname);
//process message here
}); 我尝试创建消费者并在选项中包含相同的组名， new kafka.Consum
浏览 33提问于2020-10-07得票数 1
我正在运行我的应用程序的多个实例(例如，2个拓扑在2个实例上运行)。假设第一个拓扑有两个主题(t0，t1)，有两个分区(p0，p1)要消费，第二个拓扑有两个主题(t2，t3)，有两个分区(p0，p1)要消费，所有主题都有相同的键值(例如eventId)。我可以看到，第一个和第二个拓扑的两个主题的分区都分配给了各自的使用者。
与第一个拓扑t0-p0类似，t1-p0被分配给consum
浏览 3提问于2021-07-30得票数 1
1回答
提到了以下几点：
如果所有的使用者实例都有不同的使用者组，那么每个记录将被广播到所有使用者进程。这使我在考虑分区时有些不清楚，第二个语句是否意味着如果我有多个使用者组，这是否意味着每个组中的每个使用者都将读取所有分区中的所有记
浏览 1提问于2017-02-21得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
