1回答
考虑到您的生产者为系统的用户创建消息，并且这些消息的顺序在用户级别很重要。我的生产者将消息添加到有两个分区的主题中，我使用针对user_id的散列将每个用户的所有消息放在相同的分区中，以保证顺序。 如何在保持消息顺序的同时，扩展系统并向主题添加更多分区？Kafka如何处理分区前已经生成的消息？
浏览 14提问于2019-03-18得票数 2
我正在考虑使用kafka主题和分区的可能性，kafka主题和分区可以维护主题分区之间的插入顺序。我读到顺序只在分区级别维护，所以有什么方法可以支持全局排序吗
浏览 7提问于2018-01-30得票数 0
我们有消息层的需求，我们希望消息的顺序被保留，直到它被消费者消费。我们正在探索同样的Kafka。我在想，如果我们能以某种方式确保特定的生产者(具有特定的键值属性)将其消息发布到主题t1的特定分区p1中，并且我们可以确保消费者从相同的分区p1中获取消息。这会达到我们的目的。我们可以使用这个--property选项来控制producer将写入的分区吗
浏览 0提问于2017-02-02得票数 2
我知道，storm不保证kafka主题的总排序保证，但在许多文档中，storm保证消费/处理在分区级别保持顺序的消息。我正在寻找一个示例storm拓扑，它消耗/处理kafka主题的消息，在kafka分区级别维护消息的顺序。不是总订单！！只有分区级别的排序保证。
如果您知道任何示例应用程序，请与我们分享。非常感谢！
浏览 3提问于2016-05-27得票数 1
1回答
对于使用Kafka / Redis的事件驱动架构，当我们为事件创建主题/流时，应该遵循哪些最佳实践。
让我们考虑一下在线订单处理工作流。我看到一些博客说创建主题/流，如order-created-events，order-deleted-events等。但我的问题是，当我们将其拆分成多个主题时，如何保证消息的顺序。订单已删除-假设只有5-10%的事件会取消订单，则队列中的</em
浏览 3提问于2020-04-16得票数 0
3回答
用于消息处理的多个节点
、、、、
我们在Kubernetes上部署了一个spring引导应用程序来处理消息:它从Kafka主题中读取，然后执行一些映射，最后，它写到Kafka主题。为了获得更高的性能，我们需要更快地处理消息，因此我们引入了这个春季引导应用程序的多个节点。
消息包含一个状态。是否有任何解决方案来保持消息的有序性，并保证一个节点已经处理的消息不会被另一个节点处理，并解决多个节点中的处理所引起<e
浏览 6提问于2020-04-24得票数 0
我需要创建一个使用者，它能够从多个主题中提取出与时间戳相关的消息( Kafka消息时间戳)。 finalMessageQueue.enqueue(minQueue.pop())
当我在每个主题中引入多个分区时显然，不可能将多个主题排序为按时间顺序排序的单个流，
浏览 2提问于2018-04-16得票数 0
回答已采纳
1回答
我想用kafka实现一个队列机制。但是找不到任何地方，如果可以只偷看为任何主题创建的队列中的数据，而不进入其中。我参考了tutorialspoint以了解更多关于它的信息。
提前谢谢。任何线索都将不胜感激。
浏览 0提问于2018-07-26得票数 0
2回答
是否有计划实现主题自动分区，以便从公共api中删除分区逻辑？我觉得Kafka集群应该有一个动态分区，动态调整用户消息速率，并将单独的记录存储在一个或n个物理文件和机器中，以最大化吞吐量和延迟。我发现为一个主题创建n个分区相当于有n个主题
浏览 32提问于2019-12-18得票数 1
1回答
在我们的系统中，需要维护一个适当的序列，并保证在Kafka主题分区中记录的有序性。正如在我们的测试运行中所观察到的，Kafka Mirror没有在分区中提供排序保证。记录倾向于在源群集主题和目标集群主题之间进行混叠。
我们计划使用Confluent Replicator进行跨集群数据复制。在Confluent社区版本5.3.1的测试运行中，观察到
浏览 2提问于2019-12-30得票数 0
回答已采纳
有一个有16个分区的kafka主题我们可以选择从同一个主题(有16个分区)启动多个使用者(具有相同的使用者组名称)。要从多个分区并行读取，可以维护
浏览 3提问于2021-10-09得票数 5
回答已采纳
当独占地从Kafka主题中的单个分区读取消息时，其中时间戳被配置为摄取(代理)时间，我是否可以假设从该分区检索的所有消息都将始终按照严格的时间戳顺序？
浏览 0提问于2019-01-21得票数 1
根据Apache Kafka文档，消息的顺序可以在分区内实现，也可以在主题中的一个分区内实现。在这种情况下，我们得到的并行性好处是什么，它等同于传统的MQs，不是吗？
浏览 11提问于2015-04-23得票数 62
2回答
我想知道关于Kafka如何维护消息序列的信息/解释，当消息被写入多个分区的topic时。例如，我有多个消息生成器，每个消息生成器都顺序地生成消息，并使用超过1个分区在Kafka主题上进行编写。
浏览 0提问于2016-12-01得票数 2
我正在尝试在Spark Structured和Hazelcast Jet之间映射一些概念，并理解其他主题。Q1 -在Spark中，每个Kafka分区将成为spark中的一个分区，然后它们将由单个任务并行处理。我想我在某处读到过Hazelcast Jet将合并来自kafka的所有消息，而不考虑group.id和主题分区，对吗？Q2 -我们如何在Jet程序中增加“消费者”的数量，以增加来自kafka<e
浏览 0提问于2018-01-23得票数 2
如果我有一个应用程序发布关于kafka主题的事件，而我的消费者需要按照发布的顺序读取数据，那么我的主题只能有一个分区，因为kafka保证只在分区内排序。然而，我读到kafka使用分区来提供可伸缩性，即在多个代理上放置一个主题的分区。我还读到，一个分区本身是不能分割的。
由于<
浏览 6提问于2022-02-26得票数 1
2回答
为了分离我的数据，基于一个键:我应该在同一主题中使用多个主题还是多个分区？我是根据服务器的开销、计算、数据存储和负载来计算的。
浏览 0提问于2015-09-15得票数 0
我有N个Kafka主题，有数据和时间戳，我需要将它们组合在一个具有排序时间戳顺序的主题中，其中数据在分区内排序。我有一种方法可以做到。将Cassandra中的所有Kafka主题数据(因为其快速写入)与聚类顺序降序组合在一起，它会将它们全部组合在一起，但限制是如果在数据累积的时间窗口之后，如果数据来得晚，则不会对其进行排序
有没有其他合适的方法来做到这一点如果没有，
浏览 1提问于2020-04-20得票数 0
2回答
Kafka多分区排序
、、、
我知道在Kafka中不可能对多个分区进行排序，并且分区排序只保证组内的单个使用者(对于单个分区)。然而，在Kafka Streams 0.10中，现在可以实现这一点吗？如果我们使用时间戳特性，使得每个分区中的每个消息都保持顺序，那么在消费者端，假设使用Kafka Streams 0.10，现在这是可能的吗？假设我们收到了所有消息，我们可以不根据消耗的时间戳对所有<
浏览 0提问于2016-09-19得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
