首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >新增分片扩容为什么只有A节点的数据迁移到G?

新增分片扩容为什么只有A节点的数据迁移到G?

提问于 2018-07-01 03:25:39
回答 1关注 0查看 260

新增分片扩容为什么只有A节点的数据迁移到G, 而且各个节点的数据并不是均匀分布的,采用的一致性hash算法吗?

回答 1

黑暗的光明

发布于 2018-07-02 07:05:19

当使用一致性Hash进行路由分片时,假设存在节点宕机/新增节点这种情况,那么相对于使用其他分片算法(如mod),就能够尽可能小的改变已存在key映射关系,尽可能的减少数据迁移操作。当然一致性hash也有一个明显的不足,假设当前存在三个节点A,B,C,且是使用一致性hash进行分片,如果你想对当前的B节点进行扩容,扩容后节点为A,B,C,D,那么扩容完成后数据分布就会变得不均匀。A,C节点的数据量是大于B,D节点的。

据测试,分布最均匀的是mod,一致性哈希只是大致均匀。数据迁移也是,迁移量最小的做法是mod,每次扩容后节点数都是2的N次方,这样的迁移量最小。但是mod需要对每个节点都进行迁移,这也是mod的不足之处。总之,还得酌情使用,根据业务选择最适合自己系统的方案。

和开发者交流更多问题细节吧,去 写回答
相关文章
【区块链扩容】-“分片技术”
之前说道扩容作者写了很多期关于跨链技术的科普文,我们在考虑多链间的数据共享同时也需考虑到链内分块,也就是单区块链分片分块数据共享和单块数据共识来达到区块链扩展性问题。”
帆说区块链
2022/04/27
1.2K0
【区块链扩容】-“分片技术”
面试系列之-ConcurrentHashMap实现原理(JAVA基础)
concurrentHashMap用 transient volatile Node<K,V>[] table修饰,使用volatile来保证某个变量内存的改变对其他线程即时可见,在配合CAS可以实现不加锁对并发操作的支持。get操作可以无锁是由于Node的元素val和指针next是用volatile修饰的,在多线程环境下线程A修改结点的val或者新增节点的时候是对线程B可见的;
用户4283147
2023/08/21
9020
面试系列之-ConcurrentHashMap实现原理(JAVA基础)
为什么redis哨兵集群只有2个节点无法正常工作?
由于redis的响应速度快,每秒支持的并发极高(号称10万),现在redis越来越流行了
JAVA葵花宝典
2019/11/08
8.5K1
TDSQL—扩容增加zookeeper节点
上图是TDSQL结构图,因部署高可用环境2机房增加到3机房时需要增加ZOOKEEPER节点的情形,比方说从3台增加到5台。具体操作方法,以及需要修改的配置文件我们可以参考以下方法:
腾讯云数据库 TencentDB
2020/12/11
2.3K0
TDSQL—扩容增加zookeeper节点
TBase数据节点在线扩容原理解析
对于Share-Nothing架构的分布式数据库来说,如何将数据均匀的分布到各个节点、在线扩容,以获取更大的存储容量和更高的并发访问量。成为各大分布式数据库系统的一大挑战,今天我将对腾讯云数据库TBase的数据节点在线扩容方案做一个简单的分享。
腾讯云数据库 TencentDB
2020/10/09
3K0
进度更新 | 分片节点的优化升级
自从比特元网络6.5.3版本升级后,比特元网络已经正式启动分片节点,大大降低了单节点存储压力,并提高比特元网络扩容基础。
用户7358413
2021/08/04
4940
如何为Kerberos环境的CDH集群在线扩容数据节点
Hadoop集群其中一个优点就是可伸缩性(横向扩展),通过增加计算节点使服务容量产生线性增长的能力。可伸缩的应用程序的主要特点是:只需要增加资源,而不需要对应用程序本身进行大量修改。在集群资源紧张的情况下可通过动态的扩容节点来增加集群的计算能力,前面Fayson的文章讲过《如何在非Kerberos环境下对CDH进行扩容》、《如何使用Cloudera Manager在线为集群减容》。本篇文章主要介绍如何为Kerberos环境的CDH集群在线扩容数据节点。Kerberos和非Kerberos的集群减容步骤是一样的,Fayson不会专门用文章来介绍。
Fayson
2018/03/29
2.7K0
如何为Kerberos环境的CDH集群在线扩容数据节点
HDFS新增节点与删除节点(9)
随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。因此,本篇博客小菌为大家带来的是HDFS新增节点与删除节点的内容。
大数据梦想家
2021/01/22
2.8K0
HDFS新增节点与删除节点(9)
技术分享 | ClickHouse 集群分片下扩容副本的方式
爱可生南区交付服务部 DBA 团队成员,主要负责MySQL故障处理以及相关技术支持。爱好电影,游戏,旅游以及桌球。
爱可生开源社区
2021/11/18
1.8K0
pulsar-9:broker节点扩容
先下载对应版本解压放置好,注意这里要下载,不要从其他机器同步pulsar目录,生产环境这样做极其危险,因为你无法确保在pulsar目录下是否有原来节点的独有数据,有可能会造成线上事故。即使已经都做了单独目录配置,也不要这么做,不合规。
千里行走
2022/04/28
1.4K0
腾讯会议用户暴涨,Redis集群如何实现无缝扩容?
今年疫情带来的挑战很明显,远程办公和在线教育用户暴涨,从1月29到2月6日,日均扩容1.5w台主机。业务7×24小时不间断服务,远程办公和在线教育要求不能停服,停服一分钟都会影响成百上千万人的学习和工作,所以这一块业务对于我们的要求非常高。
腾讯云开发者
2020/03/16
6.5K0
腾讯会议用户暴涨,Redis集群如何实现无缝扩容?
导语| 远程办公期间,在线会议用户需求激增,腾讯会议8天完成100万核云服务器扩展,Redis集群仅在半小时以内就高效完成了数十倍规模的扩容,单集群的扩容流程后台处理时间不超过30分钟。在这背后,腾讯云Redis是如何做到的呢?本文是伍旭飞老师在「云加社区沙龙online」的分享整理,详细阐述了腾讯云Redis无损扩容的实践和挑战。
腾讯云数据库 TencentDB
2020/03/19
1.5K0
数据库如何做到平滑扩容
为了增加db的并发能力,常见的方案就是对数据进行sharding,也就是常说的分库分表,这个需要在初期对数据规划有一个预期,从而预先分配出足够的库来处理。
早起的鸟儿有虫吃
2019/05/05
4.2K0
数据库如何做到平滑扩容
Kafka集群新增节点后数据如何重分配
分区重新分配工具可用于在代理之间移动分区。理想的分区分配将确保所有代理之间的数据负载和分区大小均匀。分区重新分配工具没有能力自动研究Kafka群集中的数据分布,并四处移动分区以实现均匀的负载分布。因此,必须弄清楚应该移动哪些主题或分区。
大数据真好玩
2022/03/28
2K0
比特元黑科技?分片节点如何突破“数据膨胀"难题?
2020的区块链公链的发展又迈向了新的行业里程碑,包括应用创新、生态联合等多方向齐头并进发展。然而繁荣背后,限制行业发展桎梏依旧存在,资本推动一时的繁荣,但真实的价值依旧要依靠技术去实现。
用户7358413
2020/10/17
6700
腾讯云Elasticsearch集群规划及性能优化实践
随着腾讯云 Elasticsearch 云产品功能越来越丰富,ES 用户越来越多,云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位,导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题。这里列举下其中比较典型的几种集群规划问题:
吴容
2020/09/13
7.7K1
腾讯云Elasticsearch集群规划及性能优化实践
腾讯云Elasticsearch集群规划及性能优化实践
随着腾讯云 Elasticsearch 云产品功能越来越丰富,ES 用户越来越多,云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位,导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题。这里列举下其中比较典型的几种集群规划问题:
腾讯云大数据
2021/01/07
1.6K0
腾讯云Elasticsearch集群规划及性能优化实践
Redis - 集群Hash槽分配
常见的Redis集群架构是三主三从的结构,为了保证数据分片,redis采用了Hash槽的概念,即:
夹胡碰
2021/04/13
3.5K0
比特元黑科技?分片节点如何突破“数据膨胀"难题?
2020的区块链公链的发展又迈向了新的行业里程碑,包括应用创新、生态联合等多方向齐头并进发展。然而繁荣背后,限制行业发展桎梏依旧存在,资本推动一时的繁荣,但真实的价值依旧要依靠技术去实现。
用户7358413
2020/08/09
4390
Elasticsearch 7.x 之节点、集群、分片及副本
从物理空间概念,Elasticsearch 分布式系统会有 3 个关键点需要学习。本次总结了下面相关内容:
二哥聊运营工具
2021/12/17
1.6K0
Elasticsearch 7.x 之节点、集群、分片及副本

相似问题

准备购买一个 8核16G云服务器。看带宽只有1M,硬盘只有50G。这个可以继续扩容吗?

2609

服务器如何增加数据和挂载数据盘呢?

2814

visjs 分层布局 新增节点 线条交叉问题?

0121

linux数据盘怎么扩容?

1334

数据盘要满了怎么扩容?

4697
相关问答用户
中建数科 | 技术总监架构部总经理擅长3个领域
公司公司公司公司公司公司 | 职务职务职务职务职务职务擅长3个领域
腾讯云TDP | 高级后端开发工程师擅长3个领域
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档