1回答
考虑到您的生产者为系统的用户创建消息，并且这些消息的顺序在用户级别很重要。我的生产者将消息添加到有两个分区的主题中，我使用针对user_id的散列将每个用户的所有消息放在相同的分区中，以保证顺序。 如何在保持消息顺序的同时，扩展系统并向主题添加更多分区？Kafka如何处理分区前已经生成的消息？消费但未提交回Kafka以更新偏移量的消息会发生什么？
浏览 14提问于2019-03-18得票数 2
根据，每个分区将有一个唯一的顺序id，称为偏移。
如果可以在另一个分区中使用相同的偏移量，那么使用者如何在多个分区中唯一地标识消息？使用者如何知道特定偏移量属于特定分区？请让我明白，在这两种情况下，就像一条带钥匙的信息&
浏览 0提问于2019-07-16得票数 10
回答已采纳
2回答
我使用以下命令创建了带有3个分区的主题。当我添加上述数据时，我的数据位于三个分区或一个分区中？因为上面我创建了三个分区。在分区中，从零开始有偏移量。接下来是消费者部分，如果我想使用一些数据，如果数据位于不同的分区中，那么数据将如何来自不同的分区，或者如何进行数据整合？有人能帮我理解基本知识吗？任何帮助都将不胜感激。谢谢
浏览 2提问于2019-11-15得票数 1
回答已采纳
2回答
具体来说，链接上写着
链接中的输出似乎也是我得到的结果。但是，分区1中的所有内容首先被消耗，然后是分区0。我实际上期望的是来自分区0的一条消息，来自分区1的一对消息，以及来自分区0的一对左右消息(尽管在分区<
浏览 1提问于2019-08-29得票数 0
回答已采纳
1回答
卡夫卡主题顺序
、、
SELECT id as tID FROM table1 t WHERE t.id = 87002) v 如果我对DB执行，使用ORDER BY ID，我将获得以下ID所期望的顺序的记录在此连接器写入的流中，记录以不同的顺序显示！他们加入了324084324066 (huh!!!?)
任何帮助理解这个行为的人都会很棒。
浏览 16提问于2019-11-07得票数 2
回答已采纳
我一直在尝试打印带有多个分区的消息。我知道消息是在单个分区中排序的，但是我如何实现这一点，以便消息也可以通过多个分区进行排序？例如，我发送1,2,3,4, 5，它们被发送到不同的分区，但是由于它们是按1到5的顺序发送的，所以我也希望它们按照这个顺序打印，但是它们被打印为2,3,5,4,1。我也有他们的时间戳，但也不能按照这个顺序来实现。
浏览 5提问于2022-08-26得票数 0
因此，使用者读取它们的顺序与它在History表中记录的顺序相同，并在Postgrace上执行它。producer2 has message 6 to 10但是当我消费的时候，我会收到关于如下主题的消息messageId 1messageId 3messageId 7诸若此类
我想按下面的顺序获取所有消
浏览 1提问于2019-01-16得票数 0
我们正在开发一个基于kafka的流系统，在该系统中，生产者将在其主题中生成多个分区，而单个用户将从该主题中消费。我知道kafka在分区内维护消息顺序，但是我们能在主题中的分区之间维护全局消息顺序吗？
浏览 8提问于2016-04-21得票数 7
回答已采纳
1回答
我们有一些需要维护顺序的消息。我们已经决定将所有消息从一个特定的源发送到一个分区，以便保持消息的顺序(多个源可以生成到同一个分区，但是一个源不能产生到多个分区)，并且我们将能够用它们的密钥标识每个源。现在，我们需要使用这些消息并进行一些处理。我们对所使用的消息执行多个独立的操作(例如，将它们存储在数据库中，转发它们等等)。现在，我被卡夫卡流API还是消费者API所困扰。虽然我可以按键对消息进行分组以
浏览 0提问于2018-10-25得票数 3
1回答
在pykafka中，如何在主题的特定分区上发布消息。在下面的代码片段中，测试主题有四个分区，我打算在其中一个分区中编写每条消息，但显然不是这样工作的。
浏览 4提问于2016-02-18得票数 1
1回答
假设我的使用者是来自具有多个主题和每个主题具有多个分区的代理的轮询。我一共有5个消费者在同一个消费群体中。如果我的每个消费者都做了一次投票，那么返回的数据顺序是什么呢？示例我的第一个使用者被分配到以下分区：topicA -分区1topicC -分区3，我的问题是，在单次1次投票中，在按顺序移动到下一个主题/分区之前，我会接收来自该
浏览 3提问于2020-05-26得票数 2
我有一个用例，其中消息来自一个通道，我们希望将其推入一个Kafka主题(多个分区)。在我们的例子中，消息顺序很重要，所以我们必须按接收消息的顺序将消息推送到主题，如果只有一个producer和单个分区，这个顺序看起来非常直接。在我们的示例中，对于负载平衡和可伸缩性，我们希望为同一个producer运行多个实例，但问题是如何维护消息的顺序。
任何想法或解决方案都会很有帮助。即使我认为有一个分区
浏览 2提问于2019-09-07得票数 1
回答已采纳
我知道，storm不保证kafka主题的总排序保证，但在许多文档中，storm保证消费/处理在分区级别保持顺序的消息。我正在寻找一个示例storm拓扑，它消耗/处理kafka主题的消息，在kafka分区级别维护消息的顺序。不是总订单！！只有分区级别的排序保证。
如果您知道任何示例应用程序，请与我们分享。非常感谢！
浏览 3提问于2016-05-27得票数 1
我想知道一个消费者是如何使用多个分区的，具体来说，从不同的分区读取消息的顺序是什么？我以为会发生这样的事：
分区按顺序读取。也就是说:在继续到下一个分区之前，将读取一个分区中的所有消息。如果我们到达max.poll.records而不消耗整个分区，那么下一个fetch将继续读取当前分区，直到它耗尽为止，然后再继续到下一个分区。如果我
浏览 11提问于2022-01-12得票数 1
回答已采纳
我刚读完Kinesis，当我阅读Kinesis时，我意识到提供了相同分区键的消息将被映射到相同的Shard，以保证订单。这完全有道理。但是，我想知道如果在运行时增加主题碎片的数量，是否会像以前一样将具有相同分区键的新消息散列到相同的碎片(旧消息)中？如果是这样的话，如果所有的消息都提供了分区键，那么它们都不会被映射到新的Shard？这对我来说毫无意义。
如果没有，那么Kinesis如何按照顺序保证具有相同分区键的消息
浏览 1提问于2020-09-28得票数 0
回答已采纳
1回答
微服务和顺序处理接收到的消息
、、、、
对于每个OrderId，我得到了4条消息，第一条消息需要很长时间来处理，在处理第一条消息的过程中，我得到了第二条消息和其他消息。我想强制系统按顺序处理它们。你对这个场景有什么想法？
浏览 0提问于2019-11-13得票数 0
1回答
假设我有MobileApp .生产的51条味精主要限制 :- ，我不能在移动应用程序上添加任何回调机制，只在收到第50条消息之后才给出第51条消息。
对此或链接/指针有什么想法吗？
浏览 2提问于2016-04-14得票数 2
2回答
有一次，我在一次面试中被问到，你将如何处理消息队列中出现的不正常的消息。这已经有一段时间了，我还没有找到一个确切的答案，我想知道这个领域的专家是否能帮助我回答这个问题来解决我自己的好奇心。我知道一些消息队列提供了精确的一次和FIFO保证。另外，我知道流系统中的事件时间和处理时间的概念。例如，在基于日志的消息队列(如Kafka )中，由于偏移和消息持久性的存在，混合排序可能不太可能发生(我可能错了)。我也考虑过使用时间戳，要求每个消息发送者在发送消息之前记录它的时间，但是
浏览 0提问于2019-10-21得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
