R1 - {"abc"：“值1"} R2 - {"abc"：“值2"} R3 - {"abc"：“值3"} R4 - {"abc"：“值4"} 在单个分区中。我希望从上面的流派生的事件流具有这样的事件 {"abc"：“值1"，”值2"，“值3"，”值4"} 给定具有相同关键字的</em
浏览 19提问于2019-03-14得票数 0
2回答
我在读关于AWS Kinesis的文章。在下面的程序中，我将数据写入名为TestStream的流中。我将这段代码运行了10次，在流中插入了10条记录。err.stack); // an error occurred});
所有记录均已成功插入partition key在这里的真正含义是什么？它在后台做什
浏览 0提问于2018-01-23得票数 47
回答已采纳
1回答
我对Kinesis非常陌生，我花了很多时间浏览文档，但还无法确定是否有可能在单个碎片上有多个“主题”(因为没有更好的术语)。最初我以为这就是分区键的用途，但是在之后
分区键用于按流中的碎片对数据进行分组。流服务将属于流的数据记录分离为多个碎片，使用与每个数据记录相关联的分区键来确定给定数据<
浏览 2提问于2016-09-27得票数 5
回答已采纳
Kafka日志压缩有助于维护每个唯一键的最新记录。最新记录意味着上一次到达一个给定密钥的记录。但是，这一最新记录的定义能否被修改，以便Kafka检查记录时间戳(事件时间)？例如，假设record (k1，value1)首先使用记录时间戳t5到达，然后Kafka将其附加到目标主题分区的活动段的尾部。一分钟后，用相同</em
浏览 1提问于2022-01-09得票数 0
2回答
使用大量连接时Kinesis出错
、、、、
我正在使用Kinesis存储从安装在EC2服务器上的Jmeter发送的记录。问题是，当我启动7200个线程并在我的Kinesis流上使用1个共享时，一切都正常工作。: ProvisionedThroughputExceededException; Request ID: 98f687d9-ffbe-11e4-a897-357ee8c24764)
所以我增加了分片的数量所以我认为问题不在于分片号，而在于我的java代码，或者我不知道还有什么问题。这是我的
浏览 2提问于2015-05-21得票数 1
3回答
从Azure的DocumentDB (Cosmos db)背景到AWS DynamoDB，在这个应用程序中已经使用了DynamoDB。
我对DynamoDB上的分区键感到困惑。据我理解，当数据增长时，使用分区键将数据隔离到不同的分区，但是许多人建议使用主键作为分区键，例如用户Id、客户Id、订单id。在这种情况下，我不知道我们如何</em
浏览 11提问于2017-09-18得票数 2
回答已采纳
我正在探索的两个选项是AWS和Kafka，从高层来看，它们似乎都提供了类似的排序保证，其中保证记录的可用性与仅在该碎片/分区内发布的顺序相同。看起来，assuming公开了，这样就可以确保具有相同分区键的记录可以按照发布的顺序(假设单个线程发布者)使用，即使碎片正在被拆分和合并。从我的阅读来看，我对<
浏览 4提问于2021-12-22得票数 1
回答已采纳
我有一个HashMap，key1到keyn，每个键的值是一个对象列表，每个对象的数量不同。我的目标是将数据加载到T线程中，每个线程中的平均记录数为K。Constraint：单个键的对象列表应该转到单个线程。(或不
浏览 5提问于2015-07-03得票数 3
回答已采纳
我的目标是确保以“正确”的顺序处理DynamoDB流发布的记录。我的表包含针对客户的事件。哈希键为事件ID，范围键为时间戳。“正确”的订单意味着相同客户ID的事件是按顺序处理的。可以并行处理不同的客户in。
我通过Lambda函数使用流。每个分片都会自动生成消费者。因此，如果运行时决定对流进行分片，消耗将并行发生(如果我没弄错的
浏览 3提问于2017-05-30得票数 16
回答已采纳
我试图使用数据迁移工具将一些数据从JSON文件迁移到Cosmos DB，当我尝试用我的列名的单个或组合定义分区键时，每次在迁移后得到未定义的分区键时，我如何纠正这个问题？注意，这里我必须使用批量导入(单个分区集合)选项，因为我需要为执行定制的存储过程，所以不能使用顺序记录导入，因为我知道相同的
浏览 1提问于2019-07-12得票数 0
如果我有一个应用程序发布关于kafka主题的事件，而我的消费者需要按照发布的顺序读取数据，那么我的主题只能有一个分区，因为kafka保证只在分区内排序。然而，我读到kafka使用分区来提供可伸缩性，即在多个代理上放置一个主题的分区。我还读到，一个分区本身是不能分割的。
由于排序只能在分区内进行，所以对于我的应用程序来说，可伸缩性是一个问题吗？有没有办法解决这个问题
浏览 6提问于2022-02-26得票数 1
3回答
我的表存储有大约120万条记录，我的日常工作需要检索所有没有属性A的记录，并做一些进一步的处理。我试图理解为什么检索100万条记录要花这么长时间，以及如何优化查询。该表的现有设计是分区和行键是相同<em
浏览 3提问于2019-12-03得票数 2
回答已采纳
1回答
多输入分组比较器
、、、、
我有两个来源的投入：
Output.collect(新文本(x+ "+id)、新文本(Id2)、新文本(数据))；
Output.collect(新文本(；public StockKey(){ this.timestamp = new Text();分组比较器： Text x2 = new Text(k2.getSymbol());
retur
浏览 2提问于2012-11-04得票数 0
：counts-repartition
这目前看来是不可能的(无论如何使用DSL )，因为使用groupBy操作符会为重新分区创建一个内部主题，所以如果我们有多个groupBy不同的子拓扑，那么Kafka流将尝试从多个源注册相同的重新分区主题。(例如，像flatMap那样)，那么我们可以返回一个记录集合(每个分组都有一个记录)，
浏览 2提问于2017-05-22得票数 3
回答已采纳
我有一个基本的问题w.r.t，我们如何在消费者端解决无序消息。在生产者上，我们可以使用单个分区或分区键来解决这个问题，并将消息路由到特定的分区。我们收到了一条毒丸信息，而消费者却没能处理好这份记录。，如果我们忽略并继续，我们将失去排序。，如果我们处理相同的消息，那么我们将阻止它处理其他消息。
如何解决这些问题？
浏览 8提问于2022-05-02得票数 0
我们有以下要求：据我们所知，我们可以通过使用压缩来实现1)，如果应该删除这些记录，则可以通过使用墓碑键重写记录。我们面临的问题是，我们每个键有多个记录，所以使用
浏览 3提问于2022-11-21得票数 0
回答已采纳
运行以下存储过程将导致零记录被删除。下面是我调用该过程的方式： ? 查询为SELECT c._self FROM c WHERE c.type = 'ORDER' 我已经通过从门户网站手动查询确认了上述查询返回结果。
浏览 19提问于2021-09-02得票数 0
回答已采纳
我需要查询dynamoDB并获取符合特定条件的所有记录。需要的是，我有一个表(如parent_child_table )，它将parent_id和child_id作为两列，现在我需要使用特定的输入id查询表，并获取所有记录。例如现在，如果我使用id 67899查询数据库，则i应该同时获得两个记录，即12345和67899。
浏览 0提问于2018-12-19得票数 1
什么时候以及如何对Dynamodb进行分区键和排序键的分区？
GSI分区(如表分区)是否存在最大大小限制？如果是，那么当一个单位基数GSI (即GSI在所有记录上具有相同的分区密钥)超过存储限制时会发生什么情况？
浏览 1提问于2018-10-06得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
