首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

金融级分布式数据库架构设计要点

由于其分布式能力实现在不同的层次(应用层、中间层、数据库层),对应用程序有不同的侵入程度,其中分布式访问客户端对应用侵入性最大,改造难度最大,而分布式数据库方案对应用侵入性最小,但是架构设计及研发难度最大...分布式数据库总体架构 其实当前市面上的分布式数据库总体架构都是类似的,由必不可缺的三个组件组成:接入节点、数据节点、全局事务管理器。...这个架构或多或少都受到了google spanner F1论文的影响,这篇文章主要分析了这几个组件在实现上有什么难点,该如何进行架构设计。 ?...当然还有些数据库在dn层面引入了paxos、raft、quorum等的强一致方案,这也是在分布式数据库中很常见的设计。 No.2 如何做到在线扩容?...这样的设计使得gtm的压力减轻很多。 No.3 GTM性能的问题? GTM是大部分分布式数据库的性能瓶颈,它使得一套集群的整体性能甚至不如一台单机。

2.3K61
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    系统架构师论文-论分布式数据库设计与实现(-MIS系统)

    分布式数据库设计与实现 -MIS系统 [摘要] 分布式数据库系统把应用所需的数据存放在多个数据库服务器上,完成某个数据操作要涉及到访问多个服务器,这适用于某种特定需要的应用。...我在主持设计开发的一个MIS系统中,为了达到了在低速网络通道下有效提高应用程序性能的目的,使用了 Sybase的分布式数据库技术。...我在设计、开发一个MIS系统时,针対应用的需要而引入分布式数据库技术,取得了良好的效果。...该系统采用典型的C/S结构,后台数据库采用Sybase,前端应用采用FB开发工具来设计标准的Windows操作界面。...我在其中任系统分析和数据库设计的角色,担任了调查业务需求、业务建模和数据库建模、数据库设计以及指导应用程序测试、优化系统和应用的性能等等一系列工作。

    84110

    支撑千亿级日交易额,平安科技分布式数据库架构设计

    分布式数据库架构设计思想也很值得广大开发者学习。本文,InfoQ 希望呈现有关分布式数据库架构设计优化及实践相关内容。...从架构设计角度出发,不同路线的分布式数据库应该怎么选择?分布式数据库带来的运维复杂性怎么解决?重建 OLAP 或者新建 HTAP 哪个更有效?为什么现在选择乐观协议的分布式数据库越来越少?...平安科技数据库架构设计实践 2018 年,是平安集团开始使用 TiDB 的关键时间点。...分布式数据库架构设计焦点问题 围绕分布式数据库架构设计在时效性、技术路线、微服务化等热门话题,InfoQ 也与汪洋进行了进一步的探讨,以下为主要的观点及未来设想。...另外如果企业要用乐观锁,开发人员也同样需要改变一些习惯和设计的方法。

    64020

    腾讯云分布式数据库 DCDB 架构解密

    腾讯云分布式数据库是一个适用于OLTP场景且与MySQL 5.5 、5.6兼容的分布式关系型数据库。...下面主要介绍TDSQL的核心架构和应用场景。...在后续两年时间,陆续支撑米大师(Midas)、微众银行(WeBank)等多个兄弟业务的上线,并针对银行场景的数据关系模型设计了关系紧密的数据聚合,同时将跨节点的分布式架构转换扩展到单机架构,有效的覆盖了大中小多层次的用户...2017年,腾讯云CDB for TDSQL更名为CDB for MariaDB,同时正式推出分布式数据库DCDB 架构: 系统由三个模块组成:Scheduler、Agent、网关,三个模块的信息交换都是通过...分布式数据库的未来规划 DCDB支持小表广播、分布式事务等 DCDB支持复杂查询

    3.6K10

    Oceanbase 看另类分布式数据库设计

    最近一直在看分布式数据库设计,不过分布式数据库大体在国内逃离不了两个设计架构, GOOGLE 系, 和 POSTGRES-X 系, 偶然看了OB的设计,感觉的确是不一样,想法是脱离了这两个系列的思维方式...下面我们看一张图, 这张图是OCEANBASE早期的架构图....下图是OB 官网的架构图, 从图上看整体的架构有了很大的变化, 从官网上看到的, 虽然整体的结构有了很大的变化, 但总体的设计理念是没有变化的, UDPATE SERVER 从实体的服务器,变换为内存结构的数据存储方式同时数据的存储方式也变为了类似...从OB 的早期设计,到目前2.0 的版本, 可以看出整体架构的迁移和变化, 以及一些设计中的考量,例如其中提到的关于数据合并的方式中,并没有采用ROCKDB的合并方式,而是采用变动的数据块进行合并的方式...等等 最后提到另类, 与目前两大阵营的分布式数据库比较, OB在结构图中并没有这些数据库中带有的事务集中管理的机制, 或许正是早期设计中嫌弃 2PC 的机制,导致与其他的分布式数据库在MVCC 分布式事务处理的理念不同

    52620

    银联分布式数据库安全设计

    近年来,分布式数据库在金融业加速落地,金融机构对分布式数据库安全有哪些需求?金融机构分布式数据库要如何进行安全设计?...本文整理自DTCC 2021中国数据库技术大会上嘉宾演讲,分享嘉宾是中国银联云计算中心高级工程师李永峰,他介绍了分布式数据库安全体系,以及银联分布式数据库UPDRDB在安全设计方面的探索实践。...银联作为一个金融机构,严格按照金融标准要求去做分布式设计和改造。银联内自研的分布式数据库是一个演变的过程,从上一代的分布式数据库中间件UPSQL PROXY逐渐演变到新一代的 UPDRDB。...UPDRDB在原有架构上主要有以下两点创新升级: 一是在部署架构上,采用新型的中间件与分布式存储引擎(Lamost)混合部署架构。...在银联新一代分布式数据库设计时,银联内部的安全诉求主要体现在用户安全、SQL安全、数据安全三个方面。用户安全,主要是对用基于分布式中间件架构数据库的用户管理、鉴权以及访问控制。

    76940

    聊聊分布式数据库TDSQL的技术架构

    那么什么是分布式数据库,其分布式、强一致性、高可用以及无损升级等特性又是如何实现的呢。今天我们在这篇文中使用 TDSQL 技术架构来进行学习和理解。...传统的 Oracle 和 DB2 都属于传统的单体数据库架构。由于数据的进一步的大规模的增长,这种传统架构出现了不少的弊端。一个弊端就是扩展性问题。...这是分布式数据库的首要目标,对用户屏蔽分布式,只在逻辑上提供整张的表访问,简化用户使用数据库的方式。 由于 SQL 引擎只负责计算,不负责存储,本身是无状态的。...SET 是分布式数据库实例。一个 SET 内部包含了 Master、Slave 节点。每个 SET 中存储哪些数据是由 shardkey 来进行分散的。...这种架构有点类似于微服务中 Mesh 架构 中用 Sidecar 把微服务框架功能独立出来一样。

    1.3K10

    分布式数据库-架构真题(二十六)

    A、架构设计 B、问题分析与建模 C、属性模型构造和分析 D、质量建模 答案:C 解析: 体系结构权衡分析法:场景和需求搜集、体系结构视图和场景实现、属性模型构造和分析中。...A、问题说明 B、问题建模 C、体系结构描述 D、需求建模 答案:C 解析: 场景架构分析方法主要输入是 问题描述、需求声明和体系结构描述。...A、注册表 B、中央数据结构 C、事件 D、数据库 答案:B A、独立构件 B、数据结构 C、知识源 D、共享数据 答案:A 7、(2019年)分布式数据库除了包含集中式数据库系统的模式结构外,...还增加了几个模式级别,其中()定义分布式数据库中数据的整体逻辑结构,使得数据使用方便,如同没有分布式。...A、分片模式 B、全局外观模式 C、分布模式 D、全局概念模式 答案:D 解析: 分布式数据库在各结点独立,在全局统一。

    24610

    架构设计《一》谈谈架构

    那什么样的系统要考虑做架构设计?...四、代码架构(也叫开发架构): 子系统代码架构主要为开发人员提供切实可行的指导,如果代码架构设计不足,就会造成影响全局的架构设计。...系统架构设计要求架构师具备软件和硬件的功能和性能的过硬知识,这也是架构设计工作中最为困难的工作。...3、应用架构 架构演进路程: 初始阶段:LAMP,部署在一台服务器 应用服务器和数据服务器分离 使用缓存改善性能 使用集群改善并发 数据库地读写分离 使用反向代理和cdn加速 使用分布式文件和分布式数据库...使用反向代理和cdn加速 使用分布式文件和分布式数据库 业务拆分 分布式服务 架构模式 分层:横向分层:应用层,服务层,数据层 分割:纵向分割:拆分功能和服务 分布式 分布式应用和服务 分布式静态资源

    2.7K42

    软件架构设计-软件架构风格、分层架构

    软件架构是可传递可复用的模型,架构就是体系结构。架构设计介于需求分析和软件设计之间。架构设计就是需求分配,即满足,需求的职责分配到组件上。...软件架构设计是降低成本、改进质量、按时和按需交付产品的关键因素。...然而系统架构的给出必须建立在需求明确的基础上。 软件架构能够在设计变更相对容易的阶段,考虑系统结构的可选方案,便于技术人员与非技术人员就软件设计进行交互,能够展现软件的结构、属性与内部交互关系。...面向对象风格 面向对象在类的层次实现高度内聚,整个系统通过不同类的组合调用实现不同功能,便于类的复用,只是面向对象是一个通用风格,类的划分不同设计人员设计结果有很大不同,对实际架构设计指导意义不大。...比如java内存垃圾的回收机制也做成了一种设计模式。 7. 软件架构需求 软件架构需求是指用户对目标软件系统在功能、行为、性能和设计约束等方面的期望。

    2.4K41

    软件架构设计—软件架构概述

    软件设计人员学习软件架构知识旨在站在较高的层面上整体地解决好软件的设计、复用、质量和维护等方面的实际问题。...(6)架构隐含有“决策”,即架构是由架构设计师根据关键的功能和非功能性需求(质量属性及项目相关的约束)进行设计与决策的结果。...不同的架构设计设计出来的架构是不一样的,为避免架构设计师考虑不周,重大决策应经过评审。特别是架构设计师自身的水平是一种约束,不断学习和积累经验才是摆脱这种约束走向自由王国的必经之路。...在设计软件架构时也必须考虑硬件特性和网络特性,因此,软件架构与系统架构二者间的区别其实不大。但是,在大多情况下,架构设计师在软件方面的选择性较之硬件方面,其自由度大得多。...从软件生命周期来看,软件架构是所开发系统的最早设计决策的体现,主要表现为: 架构明确了对系统实现的约束条件:架构架构设计师对系统实现的各方面进行权衡的结果,是总体设计的体现,因此,在具体实现时必须按架构设计进行

    1.8K40

    秒杀架构设计

    订单按钮 页面流量突增 秒杀活动开始前后,会有很多用户请求对应商品页面,会造成后台服务器的流量突增,同时对应的网络带宽增加,需要控制商品页面的流量不会对后台服务器、DB、Redis 等组件的造成过大的压力 架构设计思想...如何把瞬间的流量峰值变得更平缓,是能否成功设计好秒杀系统的关键因素。...实现流量削峰填谷,一般的采用缓存和 MQ 中间件来解决 异步 秒杀其实可以当做高并发系统来处理,在这个时候,可以考虑从业务上做兼容,将同步的业务,设计成异步处理的任务,提高网站的整体可用性 缓存 秒杀系统的瓶颈主要体现在下订单...如果我们把部分业务逻辑迁移到内存的缓存或者 Redis 中,会极大的提高并发效率 整体架构 ? 客户端优化 客户端优化主要有两个问题 秒杀页面 秒杀活动开始前,其实就有很多用户访问该页面了。

    56630
    领券