前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >分片集群中的分片集合

分片集群中的分片集合

作者头像
阿兵云原生
发布于 2023-02-16 03:32:19
发布于 2023-02-16 03:32:19
8520
举报
文章被收录于专栏:golang云原生newgolang云原生new

分片集群中的分片集合

MongoDB 中 分片集群有专门推荐的模式,例如 分片集合

它是一种基于分片键的逻辑对文档进行分组,分片键的选择对分片是非常重要的,分片键一旦确定,MongoDB 对数据的分片对应用是透明的

mongodb 分片中,有一个概念叫做数据块,默认一个数据块是 64 M ,这个也是可以配置的

他在 mongodb 中的 地位是这个样子的:

mongos 会将数据发送到 数据块中,实际上是 1 个 shard 分片对应多个数据块,也可以不对应数据块

例如上图,当一个数据块变大的时候,就会分成 2 个,慢慢的若数据块的数量多到一定的程度,就会发生快的迁移,识别和处理这个事情,都是平衡器进行处理的,例如

在数据块迁移的过程中,mogos 发送数据的方向还是不会变的,迁移的过程中,原来的数据块会先复制一个副本作为接收数据,实际的数据块继续迁移

例如块的迁移会有这样的规律:

  • 在块的个数,对比之后相差 1-20个,则会依次迁移 2 个
  • 若是 20 - 80 个,则会一次迁移 4 个
  • 若是 80 -无限多个,则会一次迁移 8 个

迁移的过程中,块的大小,块的数量都会影响我们分片集群的性能,

  • 若块的大小超过了我们的默认值,就需要拆,这就会影响性能
  • 搬迁的时候,对于网络资源的消耗 和 CPU 则会有影响

当搬迁完毕之后,相应数据块所在的分片就会通知 config server 更新配置,且原来复制的副本也会被删掉,此处 mogos 发送的数据,就会往新的一边进行发送

统一将上述涉及到的知识点梳理一下:

上述说到的分片集合,是因为数据量会越来越大,那么分片就会随之发生切割,和迁移的动作,这是为了满足在 mongodb 里面进行均匀分布

  • mogos 是会进行请求分流

是通过路由节点来将不同的请求分发到不同的分片和块中

  • 数据也是会分流

数据分流,主要还是说数据均匀分布,内部有一个平衡器进行保证

  • 块何时会拆分呢?

默认的快大小是 64 M,若我们的块数据超过这个值就会触发拆分

  • 数据块迁移什么时候会触发?

迁移的目的还是为了分片在集群中均匀分布,所以数据块会发生迁移,一般是在集群中分片相差 8 个分块的时候,就会触发数据块迁移的动作

今天就到这里,学习所得,若有偏差,还请斧正

欢迎点赞,关注,收藏

朋友们,你的支持和鼓励,是我坚持分享,提高质量的动力

好了,本次就到这里

技术是开放的,我们的心态,更应是开放的。拥抱变化,向阳而生,努力向前行。

我是阿兵云原生,欢迎点赞关注收藏,下次见~

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-09-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 阿兵云原生 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
Power Query 真经 - 第 4 章 - 在 Excel 和 Power BI 之间迁移查询
Power Query 可以在 Power BI 或 Excel 中使用,很多人一开始就在想到底用哪个平台来使用 Power Query,其实不必为此纠结,总有一天会意识到需要把查询复制到一个另一个中的。这有可能是将查询从一个 Excel 工作簿中复制到另一个 Excel 工作簿中,从 Excel 复制到 Power BI,或者从 Power BI 复制到 Excel。在本章中,将探讨将查询从一个工具快速移植到另一个工具的方法。请记住,虽然本书的重点是 Excel 和 Power BI,但这些步骤对于任何承载 Power Query 的工具来说几乎是相同的,即使它包含在其他微软产品或服务中。
BI佐罗
2022/04/02
8.3K0
Power Query 真经 - 第 4 章 - 在 Excel 和 Power BI 之间迁移查询
Power Query 真经 - 第 6 章 - 从Excel导入数据
毫无疑问,对于开始就以表格形式处理数据的人来说,最简单的方法之一是打开 Excel 并开始在工作表中记录数据。虽然 Excel 并不是真正打算充当数据库的角色,但这正是实际发生的事情,因此 Power Query 将 Excel 文件和数据视为有效数据源。
BI佐罗
2022/05/17
17.2K1
Power Query 真经 - 第 6 章 - 从Excel导入数据
Power Query 真经 - 第 8 章 - 纵向追加数据
数据专业人员经常做的工作之一是将多个数据集追加到一起。无论这些数据集是包含在一个 Excel 工作簿中,还是分布在多个文件中,问题是它们需要被纵向【追加】到一个表中。
BI佐罗
2022/05/17
7.4K0
Power Query 真经 - 第 8 章 - 纵向追加数据
ChatGPT Excel 大师
欢迎来到 Excel 掌握的变革之旅,在这里,尖端技术和永恒专业知识在“ChatGPT Excel 掌握:释放专家技巧和窍门的力量”中融合。在当今快节奏的环境中,Excel 仍然是各行业专业人士的必备工具,而借助 ChatGPT 的融入,其潜力已经超出想象。
ApacheCN_飞龙
2024/05/24
7910
PQ语言规范
Microsoft Power Query 提供了强大的“获取数据”体验,其中包含许多功能。Power Query 的一项核心功能是筛选和组合,即“混搭”来自一个或多个受支持数据源的丰富集合中的数据。任何此类数据混搭均使用 Power Query 公式语言(非正式称为“M”)表示。Power Query 将 M 文档嵌入 Excel 和 Power BI 工作簿中,以实现可重复的数据混搭。
冬夜先生
2022/01/04
1K0
轻松搞定复杂表单数据,快速提升办公数字化能力
“IT有得聊”是机械工业出版社旗下IT专业资讯和服务平台,致力于帮助读者在广义的IT领域里,掌握更专业、更实用的知识与技能,快速提升职场竞争力。 点击蓝色微信名可快速关注我们。
大海Power
2023/09/09
4460
轻松搞定复杂表单数据,快速提升办公数字化能力
Power Query 真经 - 第 3 章 - 数据类型与错误
本章专门讨论 Power Query 新手会面临的两个常见问题:理解 Power Query 是基于数据类型(而不是数据格式)的工具,以及如何理解和处理 Power Query 查询中的错误。
BI佐罗
2022/04/02
6.2K0
Power Query 真经 - 第 3 章 - 数据类型与错误
DeepSeek系列:90%的人不知道的DeepSeek+Excel联用秘籍
在数字化办公时代,Excel数据处理效率直接决定职场人的竞争力。DeepSeek作为AI办公神器,能通过精准提示词生成复杂公式、自动化清洗数据、跨表统计等操作,将繁琐流程压缩至秒级完成。本文结合企业实战场景,整理25个可直接复用的提示词案例,助你成为Excel效率王者。
小明互联网技术分享社区
2025/05/02
3940
DeepSeek系列:90%的人不知道的DeepSeek+Excel联用秘籍
Power Query 真经 - 第 7 章 - 常用数据转换
分析师面临的普遍问题是,无论从哪里获得数据,大部分情况都是一种不能立即使用的状态。因此,不仅需要时间把数据加载到文件中,还得花更多的时间来清洗它,改变它的结构,以便后续做分析的时候能更好的使用这个数据。
BI佐罗
2022/05/17
8.1K0
Power Query 真经 - 第 7 章 - 常用数据转换
Upspin 中的错误处理
Upspin 项目使用自定义的包 —— upspin.io/errors —— 来表示系统内部出现的错误条件。这些错误满足标准的 Go error 接口,但是使用的是自定义类型 upspin.io/errors.Error,该类型具有一些已经证明对项目有用的属性。 这里,我们会演示这个包是如何工作的,以及如何使用这个包。这个故事为关于 Go 中的错误处理更广泛的讨论提供了经验教训。 动机 在项目进行几个月后,我们清楚地知道,我们需要一致的方法来处理整个代码中的错误构建、描述和处理。我们决定实现一个自定义
企鹅号小编
2018/02/07
2.4K0
Upspin 中的错误处理
Power Query批量导入Excel文件,和导入文本有一点儿不同
小勤:大海,你上次说PowerQuery可以批量导入Excel文件,我参考你那个批量导入文本文件的方法试了一下,不行啊。
大海Power
2021/08/30
2K0
Excel实战技巧:如何使用Excel数据表创建蒙特卡罗模型和预测
引言:本文学习整理自exceluser.com,非常好的一篇文章,特分享于此,供有兴趣的朋友参考。
fanjy
2023/02/14
5.3K0
Excel实战技巧:如何使用Excel数据表创建蒙特卡罗模型和预测
Power Query 真经 - 第 5 章 - 从平面文件导入数据
作为一名数据专家,日常工作很可能都是在使用数据之前对其进行导入、操作和转换。可悲的是,许多人都没有机会接触到拥有精心策划过的数据的大数据库。相反,被不断地喂食 “TXT” 或 “CSV” 文件,并且在开始分析之前,必须经历将它们导入到 Excel 或 Power BI 解决方案的过程。对用户来说,重要的商业信息往往是以以下格式存储或发送给用户的。
BI佐罗
2022/05/17
5.7K0
Power Query 真经 - 第 5 章 - 从平面文件导入数据
《Python for Excel》读书笔记连载1:为什么为Excel选择Python?
本节为《Chapter 1:Why Python for Excel?》的第一部分,简单地讲解了Excel的历史,Excel编程的最佳实践,以及Excel为适应发展而作出的变化。 当你每天花费很多时间
fanjy
2021/11/26
5.9K0
表格控件:计算引擎、报表、集算表
近日,葡萄城正式发布了SpreadJS最新版本 V17.1,为前端表格控件市场带来了一系列令人瞩目的新特性和功能增强。本次更新旨在进一步提升用户在计算引擎、报表生成和分析等方面的体验,为各行业的开发者提供更强大的工具支持。
葡萄城控件
2024/08/22
9950
表格控件:计算引擎、报表、集算表
Power BI:关于FilterDatabase和命名区域(DefinedName)
文章背景:在使用文件夹的方式批量导入多份Excel文件时,由于Excel文件中存在隐藏的筛选行,所以导致数据重复录入,后来看了赵文超老师的一篇文章(见文末的参考资料1),对这一问题有了新的认识。
Exploring
2023/08/17
3K0
Power BI:关于FilterDatabase和命名区域(DefinedName)
Excelize 发布 2.7.1 版本,Go 语言 Excel 文档基础库
Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库,基于 ECMA-376,ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Excel、WPS、OpenOffice 等电子表格办公应用创建的电子表格文档。支持 XLAM / XLSM / XLSX / XLTM / XLTX 等多种文档格式,高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档,并提供流式读写 API,用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目(GSP)、2018 年开源中国码云最有价值开源项目 GVP (Gitee Most Valuable Project),2022 中国开源创新大赛优秀项目。
xuri
2023/04/11
1.8K0
Excelize 发布 2.7.1 版本,Go 语言 Excel 文档基础库
excel常用操作大全
例如,在excel中输入单位的人员信息后,如果需要在原出生年份的数字前再加两位数字,即在每个人的出生年份前再加两位数字19,如果逐个修改太麻烦,那么我们可以使用以下方法来节省时间和精力:
崩天的勾玉
2021/12/20
21.5K0
excel常用操作大全
Extreme DAX-第3章 DAX 的用法
Power BI 模型的真正强大之处在于通过使用 DAX 语言进行计算。虽然许多 Power BI 用户专注于模型并试着完全避开使用 DAX,但是除了最简单的基础聚合运算以外,其他所有的计算都需要通过 DAX 来实现。而且,你迟早会在 Power BI 中遇到更复杂的计算需求。根据我们的经验,典型的情况会是:你精心制作的一个 Power BI 报告初稿,会引出有关这些数据的越来越多、越来越复杂的问题。
陈学谦
2022/05/24
7.7K0
Extreme DAX-第3章 DAX 的用法
使用Power Query处理数据(二)
在电商行业的数据管理中,一般会把库存数据转换成单条数据的数据表,在传统Excel中操作比较耗时耗力。而使用Power Query,就会变得十分轻松。假如我们需要将图1的数据转换成图2的数据样式。
数据山谷
2020/12/22
1.1K0
推荐阅读
相关推荐
Power Query 真经 - 第 4 章 - 在 Excel 和 Power BI 之间迁移查询
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档