合并重新平衡的分区
是指在分布式系统中，当一个或多个分区数据量过小或过大，或者负载不均衡时，需要将这些分区进行合并或重新平衡，以提高系统的性能和稳定性。
合并重新平衡的分区的优势包括：
- 提高性能：通过合并小分区或者拆分大分区，可以使每个分区的数据量更加均衡，从而提高读写操作的性能。
- 增强稳定性：当某些分区负载过高时，可能会导致系统不稳定或性能下降，通过重新平衡分区可以减轻负载压力，提高系统的稳定性。
- 节省资源：合并较小的分区可以减少系统的开销，降低资源的消耗，提高整体的效率。
合并重新平衡的分区的应用场景包括：
- 数据库管理：在数据库系统中，当某些表的数据量过大或者过小时，可以通过合并或重新平衡分区来优化数据库的性能。
- 分布式存储系统：在分布式存储系统中，当某些节点的负载不均衡时，可以通过合并或重新平衡分区来提高整体的性能和稳定性。
- 大数据处理：在大数据处理中，当某些任务的负载过大或者过小时，可以通过合并或重新平衡分区来优化数据处理的效率。
腾讯云相关产品中，可以使用TencentDB、COS（对象存储）等产品来实现分区的合并和重新平衡操作。具体产品介绍和链接如下：
- TencentDB：腾讯云的数据库服务，支持自动分区合并和重新平衡功能。详情请参考：https://cloud.tencent.com/product/cdb
- COS（对象存储）：腾讯云的分布式对象存储服务，支持数据的自动分区和重新平衡。详情请参考：https://cloud.tencent.com/product/cos
相关·内容
1回答
我的数据被划分为静态数据分区和国家动态分区数据。因此，每一次约会，我可以有多达180个国家分区。看起来是这样的：
/20180101/cntry=us/ => 100kb
/cntry=ca/ => 500kb
/cntry=uk/ => 1.5mb
对于每个日期，数据都很小(约20-100 it )，并在国家分区之间进行划分。我在想，在这种情况下，哪种方法更好？再分割还是合并？既然数据很小，合并会更好吗？我非常困惑何时合并或重新分区将是一个更好的选择取决于数据的大小。
浏览 2提问于2019-01-17得票数 0
回答已采纳
2回答
我正在处理一个JSON文件，以便使用Spark (版本1.6.1)生成两个JSON文件。输入文件大小约为30~40G (100 m记录)。对于生成的文件，大小约为10G ~ 15G (30M记录)，较小的约为500 m~750 m (1.5M记录)。两个结果文件都面临以下问题：
在执行“重新分区”以将结果合并到单个文件之后，我为dataframe调用了“排序”方法。然后我检查生成的文件，发现在记录排序的间隔内，但是整个文件不是全局排序的。例如，文件中最后一条记录(第1.9M行)的键(由3列构成)是"(ou7QDj48c，014,075)"，但文件中中间记录的键(第375 K行)
浏览 2提问于2016-06-17得票数 5
回答已采纳
我正在探索聚合()函数，我有几个问题没有得到回答：
是只在executor中移动数据，还是将分布在多台机器上的数据分区移动？如果它只是执行器级别，那么在这种情况下，如果每台机器只有一个分区，并且在三个节点上有3个分区，则合并()是如何工作的？如何合并(1)？当我在数据帧上运行coalesce()函数时，它创建了一个500 MB的输出文件和一个1.2 GB文件的输出文件，为什么会有如此巨大的差异？我知道coalesce()分区的大小并不相同，但是创建大文件的原因是什么。如何在内部工作，这在这两个文件之间创建了700 MB的数据差异?
浏览 4提问于2021-06-10得票数 0
1回答
使用Spark1.1
我的工作如下：
读取给定根下的文件夹列表，将列表并行化。
对于每个文件夹，请阅读它下面的文件--这些是gzipped文件。
对于每个文件，提取内容--这些是行，每一行代表一个事件，字段用制表符(TSV)分隔。
创建所有行的单个RDD。
将TSV转换为json。
(现在，行表示特定的事件类型。有4种类型:会话、请求、推荐、用户事件)
只过滤会话事件。根据某些用户id字段，只需1:100。将它们转换为一对，使用表示某种输出结构的键(如:事件类型/日期/事件)，然后将其写入FS。
对请求和用户事件执行相同的操作
(对于建议，不能根据用
浏览 1提问于2014-11-19得票数 0
回答已采纳
1)采用底层处理器API。当重新平衡发生时，处理器对象是否被重新初始化并再次调用init方法？
( 2)对于整个Kafka流，是否是特定于重新平衡分区(单个应用程序具有多个线程占用不同的分区)，还是因为它是一个流状态？
浏览 5提问于2020-03-03得票数 1
1回答
假设我们有一个PySpark数据，数据均匀地分布在2048个分区上，我们希望合并到32个分区，将数据写回HDFS。使用coalesce是好的，因为它不需要昂贵的洗牌。
但是coalesce的缺点之一是它通常导致数据在新分区之间的不均匀分布。我假设这是因为原始分区ID被散列到新的分区ID空间，并且冲突的次数是随机的。
但是，原则上应该可以平均合并，这样从原始dataframe中的前64个分区被发送到新的dataframe的第一个分区，下一个64个分区发送到第二个分区，从而导致分区的均匀分布。得到的数据通常更适合于进一步的计算。
在防止洗牌的同时，这有可能吗？
我可以使用类似于的技巧在初始分区和最
浏览 2提问于2018-06-14得票数 3
回答已采纳
2回答
Kafka Broker有3个分区。
卡夫卡消费者实例的计数是3。
突然，一个消费者的例子死了。
我知道，如果一个Kafka消费者实例死亡，Kafka代理正在进行再平衡，而另一个消费者实例将被分配到该分区。
我想知道这样的假设是否正确:另一个实例使用它最初使用的所有分区，然后分配和使用死分区。
(我是否必须在客户端代码中实现ConsumerRebalanceListener？)
如果是这样的话，在使用消息时会有什么延迟吗？
谢谢。
浏览 3提问于2017-05-17得票数 1
我正在研究在我的项目中使用Kafka作为消息代理的可能性，它具有强大的消息处理顺序保证。
我了解到，在Kafka中，主题被分成几个分区，其中每个分区都分配了一个使用者(假设只有一个使用者组)。这对维持秩序很有好处。再平衡是将分区重新分配给使用者的过程，当分区数或使用者数量被更改时(失败，新工作人员添加)，就会触发重新平衡。
是否有可能在不改变消费者数量的情况下利用这种在飞行中的再平衡？
假设我们有以下情况：
P1 -- C1
heavytraffic -> P2 -- C2
heavytraffic -> P3 --/
因此，使用者C1只处
浏览 0提问于2020-09-21得票数 0
回答已采纳
以下是我工作的几个阶段：
第1阶段-做一些计算并将临时数据持久化到file.There中，将多个临时数据存储在流中并读取。
第二阶段-读取临时数据并进行其他计算并将其存储到最终的数据文件中。
注意到：由于数据很大，所以我无法在内存中保存多个临时文件。(8400万行，200万个不同的主键类别值)
我使用coleasce(n)或重新划分(N)，其中n是一个大数，例如: 200。现在，这将导致在输出中为我要坚持的每个临时数据创建200个文件。我知道coleasce/repartition对于编写性能来说是一项代价高昂的工作。但是，当我使用n=200时，我确实得到了比n=50更好的并行
浏览 3提问于2017-09-30得票数 1
有没有一种方法可以强制Windows Azure表存储分区到不同的物理硬件上？说环境会自动在服务器之间对分区进行负载平衡，但我无法执行压力测试，因为我无法定量地看到两个分区位于不同的实际计算机上。
考虑查询中的以下筛选器：
(PartitionKey == "a“&& RowKey == "1") || (PartitionKey == "b”&& RowKey == "2")
如果两个分区位于不同的物理机上，则可以以并行方式执行查询，同时寻址两个分区服务器，因此计算速度更快。然而，我似乎找不到一种方法来实际测量这
浏览 1提问于2012-05-25得票数 2
回答已采纳
我是卡夫卡的一个新用户，已经试用了2-3周了。我相信目前我已经很好地理解了Kafka的大部分工作原理，但是在尝试为我自己的Kafka用户安装API之后(这是模糊的，但我遵循的是新的KafkaConsumer的指南，它应该在V0.9中提供，这是在‘主干’回购ATM机上发布的)，如果我有多个具有相同groupID的用户，我就会出现延迟问题。
在此设置中，我的控制台始终记录有关“再平衡触发”的问题。当我向使用者组中添加新的使用者时，是否会发生再平衡，并且是否触发这些用户实例，以确定同一个groupID中的哪个使用者实例将得到哪些分区，或者是完全用于其他事情的再平衡？
我也从上看到了这段话，但我似乎无
浏览 0提问于2015-06-22得票数 80
回答已采纳
2回答
当添加或关闭新的consumer/brorker时，Kafka会触发重新平衡操作。Kafka是否正在重新平衡阻塞操作。在重新平衡操作进行期间，Kafka消费者是否被阻止？
浏览 1提问于2014-11-28得票数 36
回答已采纳
我正在尝试学习使用Dataframes编程。在下面的代码中，我尝试将两个CSV连接到一个列上，然后将其保存为一个组合CSV。在SCALA中运行这段代码的结果是，我看到了将近200个小部件文件。你能帮我理解一下这里出了什么问题吗-
import org.apache.spark.SparkContext
object JoinData {
def main(args: Array[String]) {
val sc = new SparkContext(args(0), "Csv Joining example")
val sqlContex
浏览 1提问于2016-04-19得票数 2
让我们假设我有一个有状态的Kafka应用程序，它使用来自主题的3个分区的数据。目前，我有两个以上应用程序的实例正在运行。让我们这样说：instance1有分区part1和part2，instance2有part3。
所以现在我想要添加新的实例来完全利用并行化。
据我理解，一旦启动新实例，就会发生重新平衡:一个分区( part1或part2 )和相应的本地状态存储将从现有实例迁移到新添加的实例。在这个例子中，让我们假设part1在instance3上迁移。
同时，我意识到新实例instance3将不会开始处理新的数据，直到它从changelog主题中恢复本地状态存储，这可能需要很长时间。
从启动
浏览 4提问于2021-11-03得票数 0
回答已采纳
我有一个基于日期列进行分区的拼图文件，执行.reparition()的优化方法是什么？我应该在看完拼花地板后立即做吗，如下所示：
val myPq = "/hive/data/myPq.db/myPq"
sparkSession.read
.format("parquet")
.load(inputConfig.getString("myPq")).repartition(200).createOrReplaceTempView("myPqView")
或者在执行了广泛的转换之后，如filter、
浏览 1提问于2019-06-05得票数 1
我有一个关于Kubernetes中的Kafka的问题，特别是自动缩放...
假设我在Kubernetes的3个Pod中有3个Kafka Broker，有一个带有5个分区(P1，P2，P3，P4，P5)的TopicA，复制因子是3，所有的Broker都有他们的持久卷，我在Kubernetes中配置了自动扩展，所以如果它检测到Kafka Pods中的%80CPU/内存使用率，它将为Kafka Broker启动额外的Pod...
如果我没有完全错的话，Kafka会检测到Zookeeper上的额外实例，并可以移动分区(所以假设P1，P2在Broker1和P3，P4在Broker2，P5在Broker3
浏览 5提问于2019-11-06得票数 2
我使用Spring kafka 1.0.3来消费kafka消息。2个kafka主题，每个主题有1个分区。在java代码中，有2个@KafkaListener来消费每个主题消息。ConcurrentKafkaListenerContainerFactory的并发设置为1，但消息有时会延迟20+秒。
@Configuration
@EnableKafka
public class KafkaConfig {
@Value("${kafka.brokers}")
private String brokers;
@Bean
public KafkaListenerContainer
浏览 7提问于2016-09-26得票数 0
1回答
我有三个主题A，B，C具有相同的分区数。对于此主题，我对所有使用者都使用相同的组名。我的问题是：
如果某个主题/分区的使用者将对其他两个主题(使用者)触发再平衡？
同样，如果为一个主题添加一个新分区，是否会对其他两个主题的使用者触发重新平衡？
更普遍的情况是，消费者再平衡发生在组级，而不管他们使用的是什么主题(考虑到他们有相同的组名)？
我期待着你的回答。
你好，弗洛琳
浏览 0提问于2016-05-10得票数 0
回答已采纳
1回答
我有两个主题，一个有3个分区，一个有48个分区。
最初，我使用了默认的分配程序，但当消费者(在kubernetes中的pod)崩溃时，我遇到了一些问题。
所发生的是，当吊舱再次出现时，它用3个分区重新分配了主题中的分区，用48个分区重新分配了主题中的0。
两个没有崩溃的豆荚从主题中分配了16个和32个分区，有48个分区。
我已经通过使用循环分区分配器修复了这个问题，但是现在我对分区是如何分布的没有信心，因为我使用的是kstream-kstream连接，为此我们需要保证为所有消费者分配相同的分区，例如C1:(t1:p0，t2:p0) C2(t1:p1，t2:p1)等等。
我想到的一件事是，我可以
浏览 3提问于2019-04-16得票数 4
回答已采纳
1回答
考虑流应用程序的设置，其输入主题为6个分区，其中有一个状态存储。假设每小时有超过500万条记录源源不断地流入。如果应用程序在单个节点上运行，则所有传入记录的状态保持在同一个节点上。现在，如果我们在一个不同的节点上添加另一个实例，我假设它将同样平衡两个实例之间的分区(假设我们将每个实例中的最大线程设置为3)。
我想我的问题是，何时发生重新平衡，如果分区实例从一个移动到另一个，反之亦然，这将导致这些分区在各自的实例上恢复状态存储，这需要时间。由于重平衡而频繁地对实例之间的分区进行洗牌(特别是大容量的分区)不会成为一个主要的开销，并影响流的性能。我不确定是否有可能完全防止再平衡(据我理解，这是为了负
浏览 1提问于2018-06-28得票数 1
回答已采纳
我正在尝试做一个简单的poc与spring kafka与spring boot与版本(2.3.7版本)，以实现如何消费者批处理工作，以及如何重新平衡工作，如果消费者需要更多的处理时间，因为我对这个消息传递系统完全陌生。 现在我看到了kafka与单一消费者(不允许并发)重新平衡的问题。 这些是我设置了max.poll.interval.ms = 50000和factory.getContanerProperties.setIdealTimeBetweenPolls(120000)的属性，并使消费者批处理比这个max.poll.interval.ms占用更多的时间。(70秒)我在这里看到的问题是
浏览 98提问于2021-02-01得票数 1
1回答
我在python中使用了星星之火，所以我需要保存包含火花结果的拼花文件。
df
.coalesce(1)
.write
.save(save_path, format='parquet', mode='append'))
这是收集数据，并保存到HDFS作为拼板格式代码。
所以我很好奇，如果我运行的火花大约30个拼花文件，火花结果将只保存一个拼花文件或不保存。
如果有人知道，主plz还教我，这是正确的或不正确的代码，只保存一个拼花文件。
谢谢
浏览 2提问于2019-11-13得票数 8
1回答
我有一个有300个分区的主题，并且有100个使用者/机器。我使用Spring作为我的底层框架来实现Kafka消费者。
我使用ConcurrentKafkaListenerContainerFactory并将并发设置为3，所以理论上，我应该有300个使用者容器，一个分区应该连接到一个容器，因此分区在100台机器之间是均匀分布的。
作为第一个构造函数，kafka将在消费者之间分发分区。对于第二个构造函数，ConcurrentMessageListenerContainer跨委托KafkaMessageListenerContainer分发TopicPartition。
如果提供了6个TopicPa
浏览 2提问于2020-04-22得票数 0
回答已采纳
这是如何使用名称- test_test创建新的10个主题分区的示例。
kafka-topics.sh --create --zookeeper zookeeper01:2181 --replication-factor 3 --partitions 10 --topic test_test
Created topic "test_test".
[root@kafka01 kafka-data]# \ls -ltr | grep test_test
drwxr-xr-x 2 kafka hadoop 4096 Mar 22 16:53 test_test-8
drwxr
浏览 3提问于2020-03-22得票数 0
回答已采纳
我有点困惑于卡夫卡撤销分区机制(可能是我实现了我的java代码有点不同)。
据我所知：
在第一主题下，如果有'N‘否。“N”不。消费者可以使用该主题上的消息，当新的消费者订阅该主题时，将发生撤消，并且在这些'N‘消费者之间重新分配分区。
现在，如果使用者订阅具有多个分区的第二主题，我的理解是不应该在第一个主题上撤销分区(或者会吗？)
浏览 2提问于2016-11-24得票数 0
我有一个在Kubernetes上运行的多节点Spring应用程序。每个节点都有一个侦听器。由于我在使用spring时遇到了自动提交的问题，我现在切换到了MANUAL_IMMEDIATE确认模式。
现在，我向卡夫卡承认，在我服役结束的时候。如果出于某种原因，我无法向卡夫卡承认，会发生什么？在冷却后，听者会再读一遍这条消息吗？如果是，我如何控制这个冷却时间？如果没有，那条信息会发生什么变化？
浏览 3提问于2022-03-29得票数 0
回答已采纳
我正在运行一个测试，其中kafka使用者正在从一个主题的多个分区读取数据。当进程运行时，我添加了更多的分区。使用者线程从新分区读取数据需要大约5分钟。我已经找到了这个配置"topic.metadata.refresh.interval.ms"，但这是只为生产者。消费者也有类似的配置吗？
浏览 1提问于2020-05-21得票数 0
回答已采纳
在Kafka中，如果客户端更改了一个主题的分区，它会创建一个新的主题吗？这会导致再平衡吗？
浏览 16提问于2020-02-18得票数 1
我们开始使用Kafka streams，我们的服务是一个非常简单的无状态消费者。
我们对延迟有严格的要求，当消费群体重新平衡时，我们面临着过高的延迟问题。在我们的场景中，重新平衡将相对频繁地发生:滚动更新代码，扩展/缩减服务，容器被集群调度器洗牌，容器死亡，硬件故障。
我们完成的第一个测试之一是让一个由4个消费者组成的小型消费者组处理少量的消息(1K/秒)并杀死其中的一个；集群管理器(目前是AWS-ECS，可能很快就会转移到K8S)启动一个新的。因此，不止一次完成了重新平衡。
我们最关键的指标是延迟，我们将其度量为发布者中的消息创建和订阅者中的消息消耗之间的毫秒。我们看到最大延迟从几毫秒增加到
浏览 3提问于2019-01-16得票数 4
对于下面的代码，我使用了
KafkaConsumer<String, String> consumer = new KafkaConsumer<String, String>(props);
consumer.subscribe(Arrays.asList(TOPIC));
TopicPartition partition = new TopicPartition(TOPIC, 0);
System.out.println(consumer.position(partition));
我收到类似“您只能检查分配给此使用者的分区的位置”之类的错误，上面的代码有什么
浏览 0提问于2017-09-24得票数 3
假设有四个消费者(A，B，C，D)。通过调用close()来关闭C。理想情况下，分配给A、B和D的分区在分配任何新分区之前应该被撤销，但是A被撤销并得到新的分区，然后B被撤销。为什么要观察这种行为？如何才能解决这一问题。
浏览 1提问于2021-11-23得票数 0
我理解，在Apache中，我可以用这样的方式编写生产者和分区程序: TypeA的消息到PartitionA，TypeB的消息传递给PartitionB。我还可以用这样的方式编写一个ConsumerGroup，即使用者/ConsumerGroupA只从PartitionA消费，而ConsumerGroupB只从PartitionB使用also ()。
但我真正想了解的是，这到底是一个好的实践吗？因为，据我所知，这将严重限制我的负载平衡能力，同时增加复杂性。原因是，如果我的TypeA消息增加了，并且我想创建另一个分区来处理负载，比如PartitionA2，我创建了更多的使用者，将新的和旧的消费者都
浏览 1提问于2017-08-06得票数 0
回答已采纳
我们最近在生产中看到了一些问题，当消费者离开组时，消费者组需要几分钟的时间来重新平衡。
这个特定的消费者群体在任何给定的时间都有大约8-10个消费者成员，并且订阅了大约15个主题，每个主题有32个分区。
本质上是试图弄清楚我们应该做些什么，以便使再平衡花费更少的时间。(例如，我们是否尝试减少每个组的消费者数量？每个主题的分区更少？等)
浏览 13提问于2017-03-10得票数 0
回答已采纳
我们生产的MarkLogic DB有1.2TB的数据分布在6个森林中。我们计划增加2个新的森林，以减少每个森林的数量。
现在，添加新的森林开始重新平衡数据。没关系，这需要时间。但是，每当合并开始的时候，再平衡的时间就会不断增加。有时，估计需要8小时到16小时。所以，整个过程平均需要24小时。
我的问题是--如果我们在添加新林之前禁用合并，并在重新平衡完成后(在添加林之后)启用手动合并，那么合并过程会更快吗？这样做安全吗？
浏览 6提问于2020-04-02得票数 1
在消费者再平衡过程中如何确保消息排序。假设最初我们有四个分区: p1、p2、p3、p4和两个使用者c1和c2 (在同一组中)。因此，每个消费者获得两个分区，例如c1 : p1、p2和c2 : p3、p4。
现在添加了新的消费者，比如c3和c4，这样每个消费者就可以得到一个分区，比如c1 : p1，c2:p2，c3:p3，c4:p4。
在此期间，消费者c1可能正在处理来自分区p2的消息(在重新平衡之前)。
消费者c2也开始处理p2消息(在重新平衡之后)。
即使这是一个角落的情况，这是预期的行为消息排序吗？
浏览 4提问于2016-12-06得票数 1
回答已采纳
2回答
对于按主题划分RDF三元组，我使用主题的String.hashCode()，并将三元组放在相应的分区中。目标是能够处理内存中的分区文件(可能无法处理大文件)。
现在，为了限制分区的数量，我执行以下操作。假设我们希望在一个大型RDF文件中有10个分区：
String subject;
partitionFileName = subject.hashCode / (Integer.MAX_VALUE/10)
因此，所有具有相同主题的三元组都将在一个分区中，并且总的来说，我们将有10个分区。
现在的问题是，当三元组有不同的分布，它可能导致非常大或非常小的分区，这是不想要的。
有人有
浏览 0提问于2016-02-18得票数 0
回答已采纳
我正在尝试处理一个有两个或更多消费者的案例，侦听一个仅包含一个分区的公共主题。我暂停了其中一个消费者，在此期间，其他未暂停的消费者应该能够从该主题中获取消息。我观察到，只有当暂停的消费者恢复时，只有其他活动消费者中的一个才能获得消息。我如何通过spring kakfka来实现这一点。我使用的是Spring kafka 2.0.0.M2。
下面是我的代码行
public class listener{
@KafkaListener(id = "id2", topics = "abcd", group = "group1", containe
浏览 0提问于2017-08-03得票数 1
我使用的是kafka_image=wurstmeister/kafka
zookeeper_version=3.4.14 kafka_version=2.12-2.4.0
C#客户端: Confluent kafka v1.2.0
我们使用3个代理，1个动物园管理员集群作为一个pat部署，我们使用它来停止所有的经纪人，动物园管理员，生产者，消费者和删除卡夫卡日志文件，并启动消费者首先将启动经纪人和动物园管理员。在这个过程中，消费者会陷入困境，即使是活着的，也不会选择任何消息。如果我重新启动消费者，它就会开始选择
浏览 0提问于2020-02-05得票数 2
RDD什么时候得到它的首选位置？如何确定首选位置？我在重新分区和合并中看到了一些奇怪的行为，我无法理解: 1.当从n到n-1分区合并时，我看到火花只是将一个分区合并到另一个分区。(我认为理想的行为应该是均匀分布在所有的n-1节点上)
当运行重新分区时，我看到火花重分区，这样一个节点就有多个rdd分区。
上述行为与preferedLocations有关吗？
浏览 0提问于2016-12-06得票数 0
我的卡夫卡版本是kafka_2.9.2-0.8.1.1。我在集群中有两个代理，4个主题，每个主题有4个分区。
当我跑的时候
sh kafka-topics.sh --describe --zookeeper rhost:2181
对于所有主题/分区，我将broker 1视为Leader。
如何实现leader的负载均衡？
例如，对于主题1和主题2，代理1作为领导者，而对于主题3和主题4，代理2作为领导者。
浏览 0提问于2014-10-21得票数 9
2回答
我正在尝试对消费者群体进行实验。
这是我的代码片段
public final class App {
private static final int INTERVAL = 5000;
public static void main(String[] args) throws Exception {
Map<String, Object> kafkaParams = new HashMap<>();
kafkaParams.put("bootstrap.servers", "xxx:9092");
kafka
浏览 0提问于2018-05-27得票数 2
回答已采纳
我有一个包含100个分区的主题。最初，在超过10亿条消息的情况下，我从每个分区扩展了100个虚拟机，以便并行使用。现在，随着消息数量减少到只有几百万条，分布似乎不再统一。我的问题是..现在，在延迟下降时减少我的消费者组中使用的虚拟机数量，还是始终保持在100个虚拟机数量，是否有意义？我的推理是，我想知道是否会开始发生大量的重新平衡，从而降低到接收器的输出消息的总吞吐量。
让我们忽略这个决策中的财务成本。
浏览 0提问于2020-05-15得票数 1
我们有一个带有ClickHouse引擎的CollapsingMergeTree表。我们希望在从源导入数据时更新记录(可能是频繁的)。最初，所有记录都用+1符号列插入。我们要更新记录的是，我们用-1符号插入要更新的记录，然后用+1符号插入更新的记录，期望当数据部分在后台合并时，具有相反符号的相同记录将被ClickHouse折叠。
问题是‘它永远不会发生’
我知道，ClickHouse将异步合并数据，但经过几个月的时间，ClickHouse没有执行任何合并。
我询问SELECT * FROM system.merges是否正在进行任何合并。查询结果为0。还将ClickHouse更新为其最新版本。但
浏览 8提问于2020-02-27得票数 1
2回答
我们的卡夫卡集群出现了问题。我们有6个v1.0节点，所有主题的复制因子都是3和10个分区/主题，这对我们来说已经足够了。
由于电源故障，其中3个节点中断了一段时间，现在我们有很多主题被报告为存在复制不足的分区。
我们在论坛上看到的唯一解决方案(似乎是被接受的)是重新启动滚动，直到一切都神奇地修复为止，但我希望有一个更好的解决方案。有人从这种情况中恢复过来了吗？网络或cpu不应该成为一个问题来保持同步，因为它甚至还没有接近极限。
非常感谢!
浏览 1提问于2018-08-03得票数 3
回答已采纳
1回答
获取由Kafka分配的分区
、、、、
我用的是夸库斯卡夫卡消费者。我需要知道卡夫卡经纪人给我的消费者分配了哪些分区。任何我可以使用的听众，就像卡夫卡客户提供的一样。否则，如何在集群的每个节点中分配特定的分区？
问候
浏览 4提问于2022-02-15得票数 0
我在Kafka主题中有两个消息(假设偏移量1和2)，这两个消息被放在同一个分区中(假设是p1)。
我的消费者应用是这样的：
我的消费者正在获取消息1(偏移量为1)，并向Kafka发送手动提交信号，然后等待5秒。
我的预期是因为提交信号发送到了kafka，而我的线程1正在等待5秒，而另一个使用者线程应该从分区1获取消息2，并在单独的线程中处理它。
然而，它不是这样工作的。它正在一个接一个地处理。只有在线程1完成5秒后，它才会从主题中提取第二条消息。
注意:我已经确保将不并行消费者的数量设置为多个(在我的示例中为5，最大消费者池大小为10)。
我做错什么了吗？有没有人遇到过类似的问题？如果是
浏览 16提问于2021-03-15得票数 1
1回答
我们最近遇到了一个问题，一些卡夫卡分区丢失了，工作继续进行，没有失败。同时，添加了新的kafka分区。看起来，我们的星火流作业没有重新启动，也没有收到来自新分区的任何数据，直到我们注意到计数上的差异。我们重新开始工作，一切都很好。所以我的问题是，星火-卡夫卡流api不定期检查是否添加了新的分区？有什么特殊的设置来启用它吗？
浏览 0提问于2018-10-29得票数 0
回答已采纳
1回答
TSQL -联机合并分区
、、、、
我问题的简短版本是：“在两个分区合并期间，整个分区表被阻塞。我如何访问不受合并影响的读写部分？”
以及背景：
我正在处理非常常见的场景--有一个以线性方式增长的生产表(每5分钟有几百行)。但是我们不必将历史数据保存在网上，所以我们决定使用分区来“咬”数据库中的历史尾，并将其移动到另一个数据库中。
如何实现这一目标有很多教程--创建分区函数、方案、用它的索引对表进行分区、将分区切换到相同的空表等。如果我想再做一次，“标准”的方法是拆分当前的分区，并将其尾部与历史分区合并。
现在我想要结束的是(示例)：表T是由整数列P划分的。让我们假设现在有三个分区和三个文件组。分区函数被设置为拆分值30和60。
浏览 0提问于2017-07-16得票数 0
回答已采纳
假设我们有4个具有相同group-id和一个主题(包括3个分区)的消费者。如果生产者发布了一条消息到分区-1，那么哪个使用者将得到此消息？
浏览 1提问于2015-09-12得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
