当我按键对数据进行分区，然后在Kafka中向主题添加新分区时，会发生什么？ 现有的记录会有什么变化吗？未来的数据将如何分区？
浏览 9提问于2019-02-21得票数 1
我正在对Kafka进行调查，以评估它是否适合我们的用例。你能帮我理解一下Kafka在改变现有集群大小时有多灵活吗？
我正在对Kafka进行调查，以评估它是否适合我们的用例。你能帮我理解一下Kafka在不拆掉集群的情况下向现有集群添加brokers的灵活性吗？这样做的时候有什么需要注意的吗？
浏览 2提问于2019-01-08得票数 0
1回答
我有几个Kafka用户订阅了一个主题，需要添加一些分区。我在临时环境中使用，并添加了一些新分区。我对Kafka的理解是，它们应该自动重新平衡，并订阅新的分区。除非他们不这样做，重启也没有用。每次我这样做(现在已经两次了)，一夜之间消费者就会订阅新分区。
如果我在控制台中创建一个新的测试组，它可以订阅新<
浏览 23提问于2019-07-05得票数 2
回答已采纳
当源主题分区计数= 1时工作正常。如果我将分区增加到任何大于1的值，我会看到下面的错误。既适用于低级，也适用于DSL API。有什么建议吗？可能会遗漏什么？org.apache.kafka.streams.errors.StreamsException: stream-thread [StreamThread-1] Failed to rebalanceat org.apache.kafka.streams.processor.int
浏览 3提问于2017-02-19得票数 6
回答已采纳
我正在调查Kafka，以评估它是否适合我们的用例。你能帮我理解一下卡夫卡改变现有主题的分区数量有多灵活吗？
理想情况下，我希望改变对生产者和消费者是透明的。卡夫卡能保证吗？更新:根据
浏览 0提问于2019-01-04得票数 16
我正在测试在运行中的系统中添加Kafka分区，但我不清楚Kafka是如何管理现有数据的，如果您将分区添加到现有的主题中。例如：
我修改主题以添加另一个分区。在这种情况下，主题</em
浏览 0提问于2018-04-12得票数 1
回答已采纳
比方说，我有一个有10个分区的kafka主题。当数据速率增加时，我可以增加分区来加速我的处理逻辑。但我的疑问是，增加分区是否好，或者我是否可以进行主题拆分(即，根据我的应用程序逻辑，一些数据将用于主题1，而一些数据将用于topic2。因此，通过这样做，我可以将数据速率分成两个主题)
选择新的topic而不是增加分区</e
浏览 1提问于2018-09-28得票数 1
我有一个关于Kafka中重新分区的问题...假设我有一个主题，它在3个代理Kafka集群上有3个分区，复制因子为3，这意味着每个代理将有一个主分区，另外2个代理将拥有此分区的复制，我知道在分区内，只要分区分布策略保持不变，分区内的有序交付就能得到保证我的问题是，假设我认为3个分区是不够的，我决定再添加一个分区和一个代理，
浏览 4提问于2018-12-11得票数 2
我有一个数据分区与一个应用实例和一个本地州存储。它已经运行了一段时间，有很多有状态的数据。我需要用5个应用程序实例将其更新到5个分区。当添加分区并将应用程序重新联机时，一个本地州商店会发生什么情况？是否会根据分区策略在附加的app实例状态存储中自动地对状态存储进行洗牌？
浏览 5提问于2020-12-09得票数 0
回答已采纳
对于特定的主题，我们希望每个代理有一个分区。我们的想法是，为了扩大规模，我们继续增加经纪人。但是，当我测试如何添加新分区时，它的工作方式并不像我所期望的那样。2064029428然后修改主题以添加另一个分区206402845
浏览 0提问于2014-06-26得票数 3
回答已采纳
我们增加了用于并行处理消息的分区数量，因为消息的吞吐量很高。一旦我们增加了分区的数量，订阅该主题的所有Streames线程就会死掉。我们更改了消费者组id，然后重新启动了应用程序，它工作正常。我知道应用程序的changelog topic的分区数应该与源topic相同。我想知道这背后的原因。我看到了这个链接- https://issues.apache.org/jira/browse/KAFKA-6063?jql=project%20%3
浏览 23提问于2019-02-12得票数 8
回答已采纳
我需要将小字典数据加入到主要的Kafka流中(就像“地图端”连接一样)。
AFAIK，Kafka实例总是在主题的给定分区上工作。不可能将整个查找数据集发送到每个分区，因此当我从查找主题构建KTable时，我将在所有Kafka应用程序实例中看到整个数据集。因此，我可以在KStream#transform()方法中进行</e
浏览 1提问于2016-09-21得票数 4
回答已采纳
1回答
我想知道是否有任何方法可以使用Kafka流、DSL或处理器API对窗口中的记录进行排序。我们使用该流，并将每条消息发布到另一个主题，通过它的用户id对记录进行分区(按用户id重新划分原始流)。
然后，我们使用这个重新分区的流，并将消耗的记录存储在本地状态存储中，窗口为10分钟。特定用户的所有单击总是在同一个分区中，但顺序不受保护，因为最初的<
浏览 2提问于2018-03-13得票数 7
在Kafka流中重新划分一个大容量的主题可能非常昂贵。一种解决方案是通过生产者端的一个键对主题进行分区，并在Streams应用程序中摄取一个已经分区的主题。有没有办法告诉Kafka流DSL，我的源主题已经由给定的键进行了分区，并且不需要重新分区？
让我澄清我的问题。流将读取messages主题</em
浏览 2提问于2020-12-06得票数 1
回答已采纳
1回答
如果我对特定应用程序的EMEA、APAC和NYC实例进行了全局配置，我将考虑区域Kafka代理，所有这些都是从一个中心的单一主题中复制出来的，它们都用于输入，而另一个则用于输出数据。不过，我想要的是，对于我的应用程序的每个区域实例，都要与它所在区域的代理进行通信--就像纽约应用程序与伦敦经纪人对话会增加很多延迟一样。
有没有办法用卡夫卡的配置来做到这一点？正如我所理解的，如果在三个区域中有三个代理，只有一个主题，一个代理将是主代理，其他代理将被复制。1
浏览 0提问于2019-03-19得票数 1
回答已采纳
1回答
是否有任何方法只接收特定事件类型从kafka主题到HDFS使用kafka连接HDFS连接器过滤其余类型？
我们能否使用存储在模式注册表中的键来获取特定于avro格式数据的特定主题中的值？如果我的理解需要澄清，请告诉我。
浏览 1提问于2018-07-10得票数 0
回答已采纳
在线为主题添加分区后，kafka消费者停止读取消息，不会抛出异常。消费者只是阻塞。每次我们都必须重启消费者。我认为这是不合理的，我找不到任何关于它的文档。此外，当处理消息时出现错误时，消费者线程将不会恢复。我们的消费者读取消息并将其插入到MySql中。一旦网络出现故障，消费者就无法连接到MySql，然后它就会阻塞并停止读取消息，直到我们重新启动它。添加分区时，旧数据和新数据
浏览 57提问于2016-03-20得票数 4
我有一个关于X分区的卡夫卡主题。每条消息都有一个时间戳ts。有人能给我一些建议吗?如何对所有分区中的所有消息进行排序(基于ts)，并将其放入Y partitions (Y < X，其中Y也可以为1)的新主题中？ 在此操作过程中，不会向原有的Kafka主题添加新的数据。我试图避免将所有数据缓冲到临时数据存储
浏览 25提问于2020-01-18得票数 1
我想充分理解kafka流处理器在划分处理器的输入及其状态时必须遵守的规则。具体而言，我想了解：
是否可能，以及在与输入主题的键不相同的状态存储中使用密钥会产生什么潜在后果？是否在分区之间共享状态存储密钥，即在处理属于两个不同分区的记录时，如果我试图在处理器中访问相同的密钥，是否会获得相同的值。我一直在对此做一些研究，我发现的答案似乎不太清楚，
浏览 2提问于2018-10-10得票数 9
回答已采纳
卡夫卡分区的数目固定为15，所以当我通过改变Flink中的并行数来测试它时，15是理想的情况，它等于kafka分区的数目。在这种情况下，kafka集群有30个分区，所
浏览 6提问于2022-09-02得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
