文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布

聊聊计算和存储分离

“计算和存储分离” 2.何为计算？...何为存储？ 要了解计算和存储分离到底是什么，那么我们就需要理解什么是计算，什么是存储。 计算这个单词有运算之义，和数学的关系密不可分。...，所以我们的计算和存储分离其实是一个伪需求，当然在未来的某一天如果我们的网络传输的时间可以忽略不计，计算和存储分离也就能真正的实现了。...3.为何需要计算和存储分离 计算和存储分离并不是现在才出现的一个新名词，在20年前就有NAS-网络附加存储这个东西，本质上也就是使用TCP/IP协议的以太网文件服务器。...4.谁在使用计算和存储分离 上面我们讲了很多理论相关的知识，相信大家已经对“计算和存储分离”已经有一定的认识了,那么其到底在哪些地方做了使用呢？

5.1K11

计算应该与存储分离吗？

，计算与存储应该分离吗？...计算与存储的关系 在聊计算与存储分离这个话题，先来看看计算与存储的关系。计算机语言中的计算和存储其实来源于数学。...计算与存储分离只是一个苗头而已。 随着网络速度进入千兆网、万兆网时代，计算机之间的网络传输速度几乎可以媲美计算机内部的磁盘 IO，计算与存储分离的概念开始有了实际的价值。...计算与存储的探索 第一个搞出计算与存储分离的自然是 Hadoop 和其对应的数据分析领域。...总结 计算与存储分离发展成了“云原生”，成为了云数据库的标配，比如 TiDB 严格的存储归存储，计算归计算；当然也有像 CockroachDB 一样的数据库，坚持存储与计算不分离。

2.6K10
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    容器化RDS｜计算存储分离 or 本地存储？

    因此存储架构的选型至关重要。到底是选择计算存储分离还是本地存储？...本文就这个问题，从以下几点展开： 回顾：计算存储分离, 本地存储优缺点 MySQL 基于本地存储实现数据零丢失 性能对比 基于 Docker + Kubernetes 的实现 来分享个人理解。...回顾：计算存储分离，本地存储优缺点 ? 还是从计算存储分离说起。 计算存储分离 ?...以 MySQL 为例 通用性更好，同时适用于 Oracle、MySQL，详见：《容器化RDS——计算存储分离架构下的"Split-Brain"》。...性能对比3：本地存储 / 计算存储分离 为了对比本地存储和计算存储分离，专门使用 MGR + 本地存储架构和 基于分布式存储的计算存储分离架构做性能对比。

    4K22

    容器化RDS｜计算存储分离 or 本地存储

    数据库服务的需求可以简化为: 实现数据零丢失的前提下,提供可接受的服务能力 因此存储架构的选型至关重要. 到底是选择计算存储分离还是本地存储?...本文就这个问题, 从以下几点展开 : ●回顾 : 计算存储分离, 本地存储优缺点 ●MySQL 基于本地存储实现数据零丢失 ●性能对比 ●基于 Docker + Kubernetes 的实现 分享个人理解...回顾 : 计算存储分离, 本地存储优缺点 还是从计算存储分离说起, 计算存储分离 先说优点 : ●架构清晰 ●计算资源 / 存储资源独立扩展 ●提升实例密度, 优化硬件利用率 ●简化实例切换流程...本地存储 如果在意计算存储分离架构中提到的缺点, 本地存储可以有效的打消类似顾虑, 无需引入分布式存储, 避免Storage Verdor Lock In 风险, 所有问题都由DBA 闭环解决,....性能对比3 : 本地存储 / 计算存储分离 为了对比本地存储和计算存储分离, 专门使用 MGR + 本地存储架构 和 基于分布式存储的计算存储分离架构做性能对比.

    10.1K80

    京东Elasticsearch使用ChubaoFS实现计算存储分离

    此类日志化场景对写要求很高，查询性能及高可用等要求相对较低，大的业务写会达到数千万 / 秒，存储以 PB 为单位来计算。...ChubaoFS 是京东自研的、为云原生应用提供高性能、高可用、可扩展、 稳定性的分布式文件系统，设计初衷是为了京东容器集群提供持久化存储方案，同时也可作为通用云存储供业务方使用，帮助有状态应用实现计算与存储分离...基于这种假设以及对提高磁盘使用率的迫切需要，我们考虑引入了公司内部部署的 ChubaoFS 作为存储，将 Elasticsearch 作为无状态的实例进行存储计算分离。...Twitter：@ChubaoFS Mailinglist: chubaofs-maintainers@groups.io Slack: chubaofs.slack.com 作者简介： 王行行，京东零售计算存储平台架构部架构师...张丽颖：CNCF Ambassador，京东零售计算存储平台产品经理， 开源项目 ChubaoFS 的 contributor。

    2.5K30

    Pulsar存储计算分离架构设计之存储层BookKeeper（下）

    我们接着上一篇Pulsar存储计算分离架构设计之存储层BookKeeper（上） 继续讲： 六、Bookie的数据读取流程 我们继续跟着上一篇的server端的源码分析上来，直接看 org.apache.bookkeeper.proto.BookieRequestProcessor...值得注意的是，Broker组件内部还存在独立的内存缓存层，用于拦截高频请求。...整个消息获取流程如下图所示： 7.2 Bookie的数据读取流程核心时序图 7.3 组件模块分析 BufferedChannel 这几个Channel类在BookKeeper中构成了一个层次化的缓冲I/...） 含义：账本存储的顶层接口，定义了所有账本存储实现必须提供的基本操作 使用场景：作为所有账本存储实现的统一接口 CompactableLedgerStorage（可压缩账本存储） 含义：支持垃圾回收和压缩操作的账本存储抽象类...（慢速交错账本存储） 含义：模拟慢速存储的交错账本存储实现，用于测试 使用场景：系统性能测试、容错能力验证、慢速存储环境模拟 SlowSortedLedgerStorage（慢速排序账本存储） 含义：模拟慢速存储的排序账本存储实现

    11510

    Pulsar存储计算分离架构设计之存储层BookKeeper（上）

    一、前言 我们上文说过，Apache Pulsar 采用了一种典型的"存储计算分离"架构设计：消息内容持久化存储在 BookKeeper 分布式日志存储系统中，集群元数据由 ZooKeeper 协调服务统一管理...（当然2.10.0版本移除了ZK是题外话了），而 Broker 节点则专注于消息的路由、协议转换等计算密集型任务，完全解耦了存储与计算功能。...上一篇文章我们说了Broker无状态，这一篇我们来聊聊"存储计算分离"中的存储——BookKeeper。...索引分离‌：Entry Log 存储数据，RocksDB 独立存储 Ledger 和 Entry 的索引‌。...3.2 Pulsar的整体架构 在分布式消息系统中，消息从客户端传输至Broker节点后，需通过计算转换与路由决策最终持久化到Bookie存储集群。

    15910

    云数据仓库的未来趋势：计算存储分离

    2020年5月，AnalyticDB推出了计算存储分离架构的弹性模式。...3 执行计划 计算存储分离架构下，计算层新增了Resharding算子，负责从存储层加载数据。...6 性能测试 本节将探究计算存储分离架构对AnalyticDB大数据量分析场景的查询吞吐影响。 测试环境 实例1：不分离模式，4组存储节点，存储节点负责数据扫描、查询计算。...粗看这个结果比较惊讶，计算存储分离后，性能更好了。我们可以仔细分析下，弹性模式与不分离模式具有相同的存储节点数，确保分离模式存储节点不会成为瓶颈。...对于计算层来说，只要存储层能够提供足够的数据吞吐，确保计算层的CPU能够打满，那么计算存储分离不会降低查询的处理吞吐，当然相比于不分离模式，会多消耗资源。

    3.2K40

    看云上 ClickHouse 如何做计算存储分离

    各位朋友大家好，我是陈龙，我今天给大家分享的内容是：看云上 ClickHouse 如何做计算存储分离。 ?...  三、基于计算存储分离架构下的未来规划 ?...，可以让存储集群 的维护成本降为 0，其按存储量计费的模式，可以大大降低存储成本，云上海量的计算资源可以保证数据 仓库的计算需求，那么我们接下看基于云的存储计算分离、资源弹性、统一存储如何构建云上云原生数仓...腾讯云云数仓 ClickHouse 计算存储分离实现 接下来我们看腾讯云云数仓 ClickHouse 计算存储分离实现，要实现 ClickHouse 的计算存储分离，我们首先来看 ClickHouse...，我们在看另一种计算存储完全分离的场景。

    4K30

    看云上 ClickHouse 如何做计算存储分离

    各位朋友大家好，我是陈龙，我今天给大家分享的内容是：看云上 ClickHouse 如何做计算存储分离。...  三、基于计算存储分离架构下的未来规划 2.png 1. ...，可以让存储集群 的维护成本降为 0，其按存储量计费的模式，可以大大降低存储成本，云上海量的计算资源可以保证数据 仓库的计算需求，那么我们接下看基于云的存储计算分离、资源弹性、统一存储如何构建云上云原生数仓...腾讯云云数仓 ClickHouse 计算存储分离实现 接下来我们看腾讯云云数仓 ClickHouse 计算存储分离实现，要实现 ClickHouse 的计算存储分离，我们首先来看 ClickHouse...，我们在看另一种计算存储完全分离的场景。

    3.1K71

    为什么说存储和计算分离的架构才是未来

    为了解决数据的快速访问，Google 创造性地提出来了计算和存储耦合的架构，在同一个集群中实现计算和存储功能，并将计算的代码移动到数据所在的地方，而不是将数据传输到计算节点，有效解决了分散在各个弱连接的存储节点间的海量数据访问的困难...在数据本地化优化得很好的大数据计算集群中，大量网络带宽是闲置的，而因为存储和计算耦合在一个集群中，带来了一些其它问题： 在不同的应用或者发展时期，需要不同的存储空间和计算能力配比，使得机器的选型会比较复杂和纠结...后来 Facebook 就逐渐往计算和存储分离的架构迁移，也对所用的大数据软件做了些调整以适应这种新的架构，他们在今年的 Apache Spark & AI Summit 上做了主题为 Taking Advantage...针对公有云设计的大数据分析服务 Databricks 一开始就是采用了计算和存储分离的架构（直接使用 S3 作为存储），给产品带来了非常大的灵活性，按需创建和自动弹性伸缩的 Spark 集群是一大卖点（...因为网络的高速发展，以及大数据计算框架对 IO 的优化，使得数据本地化已经不再重要，存储和计算分离的架构才是未来。

    71920

    Pulsar存储计算分离架构设计之Broker无状态

    二、Pulsar的存储计算分离的优势 2.1 存储与计算职责分离 Pulsar将消息的存储职责从Broker中剥离出来，交由专门的BookKeeper集群负责。...综上所述，Pulsar的存储计算分离架构通过将存储和计算职责分离，实现了灵活的负载均衡、简化的故障恢复、易于扩展和维护以及高性能与可靠性等特点。...三、Pulsar的存储计算分离的缺点 3.1 问题的本质未变 俗话说，“背着抱着一样沉”。在系统设计中，无论是否采用存储计算分离，系统需要完成的功能和解决的问题本质上是相同的。...因此，存储计算分离后，系统从单个集群变为两个集群，整体复杂度实际上有所增加。 3.3 性能损失 存储计算分离设计也会导致系统性能的一定损失。...特别是对于大部分业务系统来说，采用存储计算分离设计是非常划算的选择。 综上所述，存储计算分离设计在系统设计中具有其独特的优势和局限性。

    14310

    容器化RDS｜计算存储分离架构下的 IO 优化

    摘要 在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。...计算存储分离架构 架构示意图如下： ? 存储层由分布式文件系统组成，以 Provisoner 的方式集成到 Kubernetes....在我们看来, 计算存储分离的最大优势在于： 将有状态的数据下沉到存储层，这使得 RDS 在调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要求的 Node，数据库实例启动时，只需在分布式文件系统挂载...计算存储分离架构的缺点 俗话说的好： 上帝为你关上一扇窗的同时，再关上一扇门。 如下图所示 ?...原文地址 : http://blog.mariadb.org/mariadb-introduces-atomic-writes/ 计算存储分离架构 : 关闭 DoubleWrite 所以, 重点是我们需要测试一下在计算存储分离架构下

    1.3K80

    容器化RDS｜计算存储分离架构下的 IO 优化

    在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。...计算存储分离架构 架构示意图如下： ? 存储层由分布式文件系统组成，以 Provisoner 的方式集成到 Kubernetes....在我们看来, 计算存储分离的最大优势在于： 将有状态的数据下沉到存储层，这使得 RDS 在调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要求的 Node，数据库实例启动时，只需在分布式文件系统挂载...计算存储分离架构的缺点 俗话说的好： 上帝为你关上一扇窗的同时，再关上一扇门。 如下图所示 ?...原文地址 : http://blog.mariadb.org/mariadb-introduces-atomic-writes/ 计算存储分离架构 : 关闭 DoubleWrite 所以, 重点是我们需要测试一下在计算存储分离架构下

    1.5K40

    容器化RDS｜计算存储分离架构下的IO优化

    在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。...计算存储分离架构 架构示意图如下： ? 存储层由分布式文件系统组成，以 Provisoner 的方式集成到 Kubernetes。...在我们看来，计算存储分离的最大优势在于： 将有状态的数据下沉到存储层，这使得 RDS 在调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要求的 Node，数据库实例启动时，只需在分布式文件系统挂载...计算存储分离架构的缺点 俗话说的好： 上帝为你关上一扇窗的同时，再关上一扇门。 如下图所示： ?...原文地址：http://blog.mariadb.org/mariadb-introduces-atomic-writes/ 计算存储分离架构：关闭 DoubleWrite 所以，重点是我们需要测试一下在计算存储分离架构下

    1.5K60

    容器化RDS｜计算存储分离架构下的IO优化

    沃趣科技 熊中哲·联合创始人/产品研发团队总监 在基于 Kubernetes 和 Docker 构建的私有 RDS 中, 普遍采用了计算存储分离架构....计算存储分离架构 架构示意图如下: 存储层由分布式文件系统组成, 以 Provisoner 的方式集成到 Kubernetes ....在我们看来, 计算存储分离的最大优势在于: 将有状态的数据下沉到存储层, 这使得 RDS 在调度时, 无需感知计算节点的存储介质, 只需调度到满足计算资源要求的 Node, 数据库实例启动时, 只需在分布式文件系统挂载...计算存储分离架构的缺点 俗话说的好 上帝为你关上一扇窗的同时, 再关上一扇门....所以, 重点是我们需要测试一下在计算存储分离架构下(分布式存储必须支持 Atomic Write ), 关闭 DoubleWrite Buffer 的收益.

    2.4K60

    作业帮检索服务基于 Fluid 的计算存储分离实践

    通过对检索系统运行和数据更新流程的分析，当前面临的关键问题是由于计算和存储的耦合所带来的，因此我们考虑如何去解耦计算和存储，只有引入计算存储分离的架构才能够从根本上解决复杂度的问题。...计算存储分离最主要的就是将每个节点存储本分片全量数据的方式拆分开，将分片内的数据存储在逻辑上的远程机器上 但是计算存储分离又带来了其他的问题，比如稳定性问题，大数据量下的读取方式和读取速度，对业务的入侵程度等等问题...，虽然存在这些问题，但是这些问题都是可解决以及易解决的 基于此我们确认计算存储分离一定是该场景下的良方，可以从根本上解决系统复杂度的问题。...2计算存储分离架构解决复杂度问题 为了解决上述计算存储分离所需要考虑的问题，新的计算存储分离架构必须能达到以下目标： 1、读取的稳定性，计算存储分离终究是通过各种组件配合替换掉了原始文件读取，数据加载方式可以替换...7展望 计算和存储分离的模式使得以往我们认为非常特殊的服务可以被无状态化，可以像正常服务一样被纳入 devops 体系中，而基于 Fluid 的数据编排和加速系统，则是实践计算和存储分离的一个切口，除了用于检索系统外

    73810

    尚博：CynosDB 计算存储分离架构的实现和优化

    今天跟大家分享一下CynosDB for MySQL计算存储分离架构的实现和优化。...计算与存储分离架构，不仅在性能、扩展性和高可用方面有大幅提升，而且架构的解耦使得计算层和存储层都获得了很大的优化空间，接下来主要讲一下CynosDB架构的实现，以及在新架构上做了哪些方面的优化。...CynosDB则引入计算存储分离的架构，存储层使用共享的分布式块存储云服务，计算层则将不必要的IO全部卸载，实现计算与存储基于日志传输的新架构。...CynosDB计算层的恢复将变得无比简单，仅仅需要获取一个VDL即可，存储层的恢复过程和计算层是并行且异步进行的，和传统架构中恢复必须先完成才能进行事务回滚不同，CynosDB在获得VDL之后即刻进行事务回滚...在CynosDB中，同样的更新逻辑，因为没有本地文件，我们的扩展只依赖于存储层的扩展能力，而存储的扩展是完全异步的，对于计算层而言扩展仅剩下一点CPU操作，可以不需要提前预留扩展空间。

    2.4K21

    从Snowflake看数据仓库演进方向：计算存储分离、弹性计算、统一存储和Serverless化

    如何通过技术手段把大数据组件的性能做到极致，同时尽可能以更低的成本满足业务需求，通过产品让客户的技术、运维等成本降到最低一直是我们努力的目标。...其次计算存储不分离，无法对计算资源进行有效复用。因此长期来看，大数据分析技术演进的方向一定是：支持数据实时处理、计算存储分离、Serverless 化、高性能低成本的数据仓库服务才能赢得未来。...2）存储计算分离 在云的环境下，网络传输能力已经超过本地磁盘的 IO 能力，存储计算分离带来的好处是存储量一定的情况下通过横向扩展计算可以带来更好的性能 ，同时在计算低峰的时候通过云的弹性能力进行扩缩容带来数据分析计算成本的进一步降低...5）极致性能 基于云基础设施，在计算存储分离的模式下还必须保证现代数据架构下的零性能损失，性能的保证即是成本降低的保证。...总体趋势就是：计算存储分离、弹性计算、统一存储以及 Serverless 化。 InfoQ：在您看来，当前大数据计算引擎和存储分别处于什么样的发展阶段？为什么？

    1.5K41
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券