首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

亿级流量下平滑扩容:TDSQL水平扩容方案实践

本文将带来直播回顾第三篇《亿级流量场景下的平滑扩容:TDSQL的水平扩容方案实践》。 视频内容 话不多说,我们正式进入今天的分享。...今天分享的主题是“亿级流量场景下的平滑扩容:TD的水平扩容方案实践”。...1.1 水平扩容 VS 垂直扩容 首先我们看一下垂直扩容。垂直扩容,主要是提高机器的配置,或者提高实例的配置。...水平扩容最大的优点是解决了垂直扩容的问题——理论上水平扩容可以进行无限扩容,它可以通过增加机器的方式来动态适应业务的需求。 水平扩容和垂直扩容相比,它可以解决垂直扩容的问题,但是会引入一些其他的问题。...这个大家看到,这个集群有4个SET,每个SET负责一部分的shardkey,这个路由信息是0-127,意思是它最后能扩到128个节点,所以能扩128倍。这个“128”可以由初始化的业务预估先定下来。

2.4K43

MySQL 分库分表及其平滑扩容方案

本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。 1 分库分表概述 在业务量不大时,单库单表即可支撑。...3.2 一致性Hash算法 优点:扩容后无需迁移数据。 3.4 Snowflake 分片 优点:扩容后无需迁移数据。...4.4 节点扩容 节点扩容后,新的分片规则导致数据所属分片有变,因而需要迁移数据。...5 节点扩容方案 相关资料: 数据库秒级平滑扩容架构方案 5.1 常规方案 如果增加的节点数和扩容操作没有规划,那么绝大部分数据所属的分片都有变化,需要在分片间迁移: 预估迁移耗时,发布停服公告; 停服...5.2 免迁移扩容 采用双倍扩容策略,避免数据迁移。扩容前每个节点的数据,有一半要迁移至一个新增节点中,对应关系比较简单。

98110
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL分库分表及其平滑扩容方案

    本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。 1 分库分表概述 在业务量不大时,单库单表即可支撑。...3.2 一致性Hash算法 优点:扩容后无需迁移数据。 3.4 Snowflake 分片 优点:扩容后无需迁移数据。...4.4 节点扩容 节点扩容后,新的分片规则导致数据所属分片有变,因而需要迁移数据。...5 节点扩容方案 相关资料: 数据库秒级平滑扩容架构方案 5.1 常规方案 如果增加的节点数和扩容操作没有规划,那么绝大部分数据所属的分片都有变化,需要在分片间迁移: 预估迁移耗时,发布停服公告; 停服...5.2 免迁移扩容 采用双倍扩容策略,避免数据迁移。扩容前每个节点的数据,有一半要迁移至一个新增节点中,对应关系比较简单。

    1K20

    数据库如何做到平滑扩容

    原理和上述相同,做分裂扩容,只是数据的同步方式不同了。 1.增加新库写链接 双写的核心原理,就是对需要扩容的数据库上,增加新库,并对现有的分片上增加写链接,同时写两份数据。...Redis的作者提出了一种叫做presharding的方案来解决动态扩容和数据分区的问题,实际就是在同一台机器上部署多个Redis实例的方式,当容量不够时将多个实例拆分到不同的机器上, 这样实际就达到了扩容的效果...数据迁移 数据迁移可以理解为slot(槽)和key的迁移,这个功能很重要,极大地方便了集群做线性扩展,以及实现平滑扩容或缩容。 使用哈希槽的好处就在于可以方便的添加或移除节点。...无损扩容 虽然Hash环可以减少扩容时失效的key的数量,但毕竟有丢失。...引用: 1 数据库秒级平滑扩容架构方案 2 http://antirez.com/news/110

    4K50

    亿级数据DB秒级平滑扩容

    新的问题来了,分成n个库后,随着数据量的增加,要增加到2*n个库,数据库如何扩容,数据能否平滑迁移,能够持续对外提供服务,保证服务的可用性? 画外音:你遇到过类似的问题么?...停服扩容,是最容易想到的方案?...在讨论秒级平滑扩容方案之前,先简要说明下停服务扩容的方案的步骤: (1)站点挂一个公告“为了为广大用户提供更好的服务,本站点/游戏将在今晚00:00-2:00之间升级,届时将不能登录,用户周知”; 画外音...再次看一眼扩容前的架构,分两个库,假设每个库1亿数据量,如何平滑扩容,增加实例数,降低单库数据量呢?三个简单步骤搞定。 步骤一:修改配置。 ?...互联网大数据量,高吞吐量,高可用微服务分层架构,数据库实现秒级平滑扩容的三个步骤为: (1)修改配置(双虚ip,微服务数据库路由); (2)reload配置,实例增倍完成; (3)删除冗余数据等收尾工作

    83520

    数据库秒级平滑扩容架构方案

    最终问题抛出:分成x个库后,随着数据量的增加,要增加到y个库,数据库扩容的过程中,能否平滑,持续对外提供服务,保证服务的可用性,是本文要讨论的问题。...二、停服务方案 在讨论平滑方案之前,先简要说明下“x库拆y库”停服务的方案: (1)站点挂一个公告“为了为广大用户提供更好的服务,本站点/游戏将在今晚00:00-2:00之间升级,届时将不能登录,用户周知...三、秒级、平滑、帅气方案 再次看一眼扩容前的架构,分两个库,假设每个库1亿数据量,如何平滑扩容,增加实例数,降低单库数据量呢?三个简单步骤搞定。...四、总结 该帅气方案能够实现n库扩2n库的秒级、平滑扩容,增加数据库服务能力,降低单库一半的数据量,其核心原理是:成倍扩容,避免数据迁移。...迁移步骤: (1)修改配置 (2)reload配置,实例扩容完成 (3)删除冗余数据等收尾工作,数据量收缩完成

    2.8K90

    数据库分库分表平滑扩容方案

    背景 参考博客1给出了一种所谓的平滑帅气的秒级扩容的架构方案,但我个人却认为,这个看似没有什么问题的方案在实际中几乎没什么用处,业界也几乎不会用这种方案来进行扩容(分库分表)。...为了便于说明这一点,本文先简单回顾下该方案,然后分析该方案为什么没有用,最后给出三种业界广泛使用的分库分表的平滑扩容方案。...vip),当前的主库挂掉之后,虚ip自动漂移到另一个主库,整个过程对调用方透明: 由此可知,在实际的架构中,既有水平切分,又有高可用保证,所以实际的数据库架构是这样的: 现在假设每个库1亿数据量,如何平滑扩容...几种可行的扩容方案 到此可知,相比于双主同步机制,业界更多使用的是主从同步机制。本文接着介绍在主从同步机制下,三种可行的平滑扩容方案。...参考博客: 1、https://www.cnblogs.com/codeon/p/8288029.html  数据库秒级平滑扩容的架构方案 2、https://cloud.tencent.com/developer

    1.2K21

    【干货】MySQL 分库分表及其平滑扩容方案

    本文总结了分库分表的相关概念、全局ID的生成策略、分片策略、平滑扩容方案、以及流行的方案。 1 分库分表概述 在业务量不大时,单库单表即可支撑。...3.2 一致性Hash算法 优点:扩容后无需迁移数据。 3.4 Snowflake 分片 优点:扩容后无需迁移数据。...4.4 节点扩容 节点扩容后,新的分片规则导致数据所属分片有变,因而需要迁移数据。...5 节点扩容方案 相关资料: 数据库秒级平滑扩容架构方案 5.1 常规方案 如果增加的节点数和扩容操作没有规划,那么绝大部分数据所属的分片都有变化,需要在分片间迁移: 预估迁移耗时,发布停服公告; 停服...5.2 免迁移扩容 采用双倍扩容策略,避免数据迁移。扩容前每个节点的数据,有一半要迁移至一个新增节点中,对应关系比较简单。

    10.3K40
    领券