本文通过XXX高速公路收费系统(以下简称收费系统),来论述分布式数据库的设计与实现。收费系统是我公司近年来接的较为大型的项目,管理结构为三层结构:公司级、收费中心级、收费站级,各级之间即可独立的完成自身业务,又有自上而下的管理关系。收费中心、收费站均为三层C/S结构,公司级采取B/S结构。该系统的数据库也按照三层来设计,收费站存放本站的所有流水数据,收费中心存放所有数据,公司本部存放查询用汇总数据,收费站与收费中心使用事务复制来同歩数据,而收费中心与公司本部使用快照复制来同歩数据,并且使用分级的方法来测试收费站、收费中心与公司本部之间的数据同歩。 在本项目的开发过程中,我担任了数据库的设计工作。
近年来,中国移动不断加强业务运营IT支撑系统的自主可控建设。亚信科技AntDB数据库已在运营商核心系统深耕15年,在通信行业的多个领域完成上线并保障持续平稳运行,完全具备国外数据库所具备的能力。因其技术领先性与稳定性,湖南移动借力亚信科技AntDB数据库,积极推进核心业务数据库的国产替代工作。
究竟区块链与分布式数据库有什么不同?中心化和去中心化之间又是怎样界定的?这两种网络结构会带来什么不一样的使用体验?
当前市场上常见的容灾模式可分为同城容灾、异地容灾、双活 数据中心、两地 三中心几种。
本文由微众银行数据库负责人胡盼盼撰写,介绍了微众银行自 2014 年以来从传统 RDBMS 到 NewSQL 的架构演进,以及 TiDB 在微众银行核心批量场景的应用。
随着互联网业务快速发展,多IDC的业务支撑能力和要求也逐步提升,行业内的“两地三中心”方案较为流行。
区块链的概念到技术其实出现已经很长时间,但是随着这两年的火热,才渐渐被市场和许多技术人员了解。作为一个数据库行业的老兵,王涛看到对于区块链技术,在热潮之下,传统的IT技术同学们保持了十分理性,甚至是排斥的态度。其实不管是热捧还是排斥,两极观点之下,王涛认为我们应该从IT人比较能够理解的角度探讨一下区块链技术。因为区块链这个东西的本质和数据库技术非常相像,很多机制使用数据库的理念去理解会非常直观准确。在本文的分享中,王涛将从数据库对比的角度,可以让传统IT人更好的理解区块链技术。以下为王涛的详细分享,希望对你
互联网科技不断发展的同时,云端服务也变得越来越重要,云服务可以将企业所需的数据和软硬件都存放在网络上,在任何时间和地点使用不同的设备互连,就能实现数据的存取和运算,而我们的生活方方面面都在不断产生着数据,无论是出行记录、消费记录、浏览记录还是发送的消息。
本文,将介绍数据库架构设计中的一些基本概念,常见问题以及对应解决方案,为了便于读者理解,将以“用户中心”数据库为例,讲解数据库架构设计的常见玩法。 一、用户中心 用户中心是一个常见业务,主要提供用户注册、登录、信息查询与修改的服务,其核心元数据为: User(uid, uname, passwd, sex, age,nickname, …) 其中: uid为用户ID,主键 uname, passwd, sex, age, nickname, …等为用户的属性 数据库设计上,一般来说在业务初期,单库单表就能够
本次恢复的数据库安装在客户本地服务器上,服务器操作系统为windows2008 r2 。在当前环境内安装有mysql5.6单实例,引擎类型为innodb,表内数据存储所使用表空间类型为独立表空间。未进行数据库备份,未开启binlog。
对于金融企业来说,尤其是银行、证券、保险这些行业,在一个 IT 系统运行支撑业务的过程当中,考虑到硬件的故障、网络的故障,等一切可能会对业务产生影响的突发故障。那么,在过去漫长的 IT 发展的过程当中,大量的技术被应用在关于如何解决组件级的高可用,整个服务的容灾和灾备,包括如何保证整体业务的连续性。
数据库选型一直是困扰客户的难题,不仅要考虑底层的数据库技术,还需要结合企业业务特点、企业未来规划做决策。如何快速掌握数据库选型秘诀呢?答案无疑是看市场怎么做,看市场的同行是如何选择的。 近期,腾讯云数据库TDSQL助力福建海峡银行新一代核心业务系统正式上线(点击查看详情),为城商行提供核心改造解决方案。新核心关键业务系统采用“微服务+分布式”架构,改造历时14个月,依托腾讯云企业级分布式数据库TDSQL良好的兼容性、成熟的迁移能力和技术服务支持,海峡银行快速完成了核心系统的国产数据库替换,并基于腾讯云数据库
灾难备份是指为了减少灾难发生的概率,以及减少灾难发生时或发生后造成的损失而采取的各种防范措施。
在前面:微服务调用链追踪中心搭建 一文中我们利用Zipkin搭建了一个微服务调用链的追踪中心,并且模拟了微服务调用的实验场景。利用Zipkin的库Brave,我们可以收集一个客户端请求从发出到被响应
数据库作为企业数据的管理软件,是企业的核心资产,需要避免单点灾难,因此数据库灾备需求应运而生。
相对于过去单体或 SOA 架构,建设微服务架构所依赖的组件发生了改变,因此分析与设计高可用容灾架构方案的思路也随之改变,本文对微服务架构落地过程中的几种常见容灾高可用方案展开分析。
本文,将介绍数据库架构设计中的一些基本概念,常见问题以及对应解决方案,为了便于读者理解,将以“用户中心”数据库为例,讲解数据库架构设计的常见玩法。
不知道你有没有感觉到,如今的区块链,已经在大妈大爷这股强大催化剂的作用下,被出神入化地抬上了绝对的高度:
2007年,淘宝已经拥有超过500人的技术团队规模,整个淘宝网站是一个几百兆字节的WAR包,大小功能模块超过200个。
异地多活的概念以及为什么要做异地多活这里就不进行概述了。概念性的很多,像什么同城双活、两地三中心、三地五中心等等概念。如果有对这些容灾架构模式感兴趣的可以阅读下这篇文章进行了解:《浅谈业务级灾备的架构模式》。
3. 顶部有个下拉列表同意你选择查看整个场还是只特定server上的部件。
Porter是一款数据同步中间件,主要用于解决同构/异构数据库之间的表级别数据同步问题。
随着企业规模的扩大,对数据库可用性要求越来越高,更多企业采用两地三中心、异地多活的架构,以提高数据库的异常事件应对能力。 在数据库领域,我们常听的“两地三中心”、“异地多活”到底是什么呢? “两地三中心”就是生产数据中心、同城灾备中心、异地灾备中心。这种模式下,两个地域的三个数据中心互联互通,当一个数据中心发生异常,其他数据中心可以正常运行并进行业务接管。 “异地多活”就是在多个地域建设多个数据中心, 业务数据能够在三个及以上的数据中心之间进行双向同步。异地多活架构具有更高的可用性,抗风险能力极强。 不
我们早已进入大数据时代,但是大众更多关心的是数据有多大,而不是这些数据存放在哪里,虽然后者关系到存储和访问数据的性能与成本。
本文源自今年系统架构师大会,我在会上分享《数据库工程架构实践》的前3页PPT,数据库架构设计中的一些基本概念。 画外音:会上分享了近4个小时,见《十年》。
编辑手记:Oracle 12c新加入的GDS特性是针对复制数据库(使用复制技术,例如ADG,Ogg等)的完整自动化工作负载管理解决方案。 本文来自Oracle白皮书翻译。 为满足企业各种业务需求,如高可用性、灾难恢复、内容本地化和缓存、可扩展性等,许多组织在本地或远程的数据中心维护一个或多个生产数据库的复制。Oracle数据库一般通过Oracle ADG和Oracle GoldenGate技术策略用于完成数据库的复制。 1 业务需求与技术的局限性 在GDS之前,复制环境中的每个数据库都从应用程序和数据库管理
每一个微生物学组的研究者在分析数据的时候都会遇上各种数据的问题:做16S分析发现数据库定制格式不会,做宏基因组有参分析发现依赖数据无法下载,宏基因组注释分析时用的NT,NR数据库从NCBI下载太慢了,建软件索引时计算资源不足,甚至要担心有一天国际数据库切断了,我们该从哪里下载数据?
设计一个支持数百万用户的系统是非常有挑战性的, 这是一个需要不断调整和优化的过程, 接下来的内容中, 我将构建一个系统, 从单个用户开始,到最后支持数百万的用户。
分布式配置中心对于大多数企业和公司来说是一种能够提升工作效率的有力帮手,但是如果想使用分布式配置中心的话,还需要具备一定的技术能力才可以,那么分布式配置中心怎么设置呢?下面为大家简单介绍分布式配置中心怎么设置的相关内容。
TiDB 作为一款高效稳定的开源分布式数据库,在国内外的银行、证券、保险、在线支付和金融科技行业得到了普遍应用,并在约 20 多种不同的金融业务场景中支撑着用户的关键计算。本篇文章将为大家介绍分布式关系型数据库 TiDB 在金融行业关键应用领域的实践。
《本文同步发布于“脑之说”微信公众号,欢迎搜索关注~~》 公开数据库对于促进科学研究的快速发展意义重大,公开数据的建立可以让全世界各国的领域内研究者对某些问题进行更深入更全面的研究。在大数据时代,数据库的开放和共享已逐渐成为研究领域的趋势之一,目前很多国外期刊杂志也鼓励投稿者共享和开放研究数据。上述情况对于脑科学领域的研究也是如此。此外,我们个人同样可以利用各类脑科学公开数据库方便地进行各种研究。 笔者在这里较为全面地盘点目前免费的EEG/MEG/MRI/ fNIR公开数据库,希望对大家的研究有所帮助。
日前,微众银行顺利完成了首场断电演练。这是一场模拟单个数据中心完全不可用的灾难恢复演练,通过模拟城市级灾难事故,切断其中一个IDC中心来检验提升系统恢复服务、数据安全保障能力而进行的运维活动。 在腾讯云企业级分布式数据库TDSQL的技术支撑下,IDC中心失联后,微众银行的全量业务“秒级切换”到其他数据中心,真正实现了业务“零感知”,在金融行业内尚属首次。 为了模拟单个中心故障的场景,运维人员关闭一个数据中心的所有内外网出口,用户流量立刻自动切换到正常的数据中心,全行所有业务和渠道正常提供服务,真正做到用
有2年没有摸数据库了,重新学习下。数据库是IT系统的基石,小到一个个人站点,大到类似Google,阿里,腾讯这种大公司,里面都运行着各种各样的数据库,成千上万的人才还在继续开发和维护数据库。 数据库大牛stone breaker前两年还拿到了图领奖,了不起的成就。数据库理论这些年没啥大的突破,还是70年代提出来的关系模型,ACID等等。不过不表示数据库的发展停下来了,尤其是随着需要处理的数据和业务越来越大,数据库规模,性能越来越强。数据库的发展主要体现在工程能力,新硬件的使用上。 我个人理解就当前而言,技术
10 月 22 日,巨杉数据库将正式发布其金融级分布式数据库「SequoiaDB v5.0」。在正式发布前,就让我们一起来尝尝鲜,看看 5.0 版本将有哪些技术新特性。
微服务的理念主张将软件设计的各方各面进行去中心化。这种对去中心化的关注不仅指导业务逻辑的组织,它还会指导人们如何对数据进行存储。
数据库部署架构是从容量、可用性、性能、成本等多方面权衡的结果,网商银行基础架构从建行之初满足快速业务响应的分布式架构,到单元化架构的落地,再到云原生时代,其中伴随着业务的快速发展,数据库的部署架构也经过多个版本的迭代发展。 容灾方面,从最初的“两地三中心”,具备机房级容灾,不具备全部的城市级容灾,经过扩容建设发展到现在的“三地五中心”。具体部署方式如图3-1-1所示,采用3-2-1的部署方式,任意一个城市的故障,通过选主(选择主库)实现主库的切换完成容灾。 图3-1-1 “三地五中心”架构 分布式业务
“一个数据库包打天下的时代已经结束了”四川省农村信用社联合社信息科技中心高级工程师桂俊鸿在采访中表示。事务型、联机型、NoSQL、文档型、列式存储、时序数据库、图数据库……在近年来这些数据库热词背后,是数据库技术及产品在面向不同业务场景逐渐细化分类,发挥长处,最终助力企业实现数字化目标。由于传统数据库在扩展性、容量等方面不能满足日益增长的数字化需求,架构层面从集中式向分布式转型的分布式数据库及相关产品备受关注。
作者:Shaan Ray 机器之心编译 参与:路雪、李泽南 区块链(blockchain)这一概念正因比特币等虚拟货币的兴盛而变得火热起来,实际上,这种技术因为特殊的设计思路也可以应用于很多其他领域中
“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时,我们还需要不断的成长与思考:
11月1日,秦皇岛银行新一代分布式核心系统成功投产并稳定安全运行超过三个月,标志着秦皇岛银行数字化转型应用和服务水平登上了一个新台阶。 这是秦皇岛银行有史以来规模最大、范围最广、难度最高的一次系统升级,同时也是河北省首家在传统核心业务场景下使用国产数据库的城商行。 近年来,随着国际金融局势和疫情变化,银行业发展即要满足科技创新要求,又要保持稳定基础的关键技术自主可控的路线。 基于此,秦皇岛银行于2021年4月启动分布式核心系统建设,历时15个月,完成了1个核心系统和63个外围系统更新换代,实现了运营基础、服
区块链是一种分布式账本,它的本质也是一种数据库,但为什么绝大部分的区块链核心代码都没有提供遍历和过滤的查询功能呢?这里面涉及到一种什么样的设计理念?
Ignite™是一个以内存为中心的分布式数据库,缓存和处理平台事务性,分析性和流式工作负载,以PB级的速度提供内存速度. 主要好处 Ignite 使用者包括 ING, Sberbank, HomeAw
3月12日,在北京,腾讯云发布了全新升级的金融业务支撑平台,平台集中整合腾讯云在云计算架构、分布式数据库、大数据以及人工智能等方面的优势技术能力,着力解决金融机构数字化转型中关键技术自主可控问题,助力构建覆盖核心架构及主要应用场景的自主可控技术体系,提升行业数字化技术安全应用水平。
容灾设计过程当中需要考虑的故障切换的场景有很多,数据中心内部的高可用切换不在本次讨论范围之内,我们讨论的是容灾恢复过程中的关键跨数据中心级的故障切换场景,从网络层到存储层都会涉及到,其主要涉及如下几个方面:
作者简介:王龙,招商银行数据中心MySQL资深架构师,将MySQL引入招商银行,并从无到有建设MySQL生态,解决了MySQL在银行领域使用的诸多问题。
本文将介绍数据库架构设计中的一些基本概念,常见问题以及对应解决方案,为了便于读者理解,将以“用户中心”为例,讲解数据库架构设计的常见玩法。
3月12日,腾讯云全新发布自主可控金融业务支撑平台,该平台集中整合腾讯云在基础架构、数据库、大数据以及人工智能等技术场景中的优势能力,致力于帮助金融机构在数字化转型过程中构建全方位自主可控技术体系。其中,腾讯云也首次正式对外披露分布式数据库TDSQL的十年自主可控之路。
如果说核心系统是金融机构业务系统的“心脏”,那么数据库则是“心脏”的“心脏”,业务数据就像流淌在业务系统中的“血液”,拥有一颗健壮的“心脏”是系统高效处理业务和维持正常运转的必备条件。由于金融级数据库技术的高度复杂性,国内金融机构的核心系统长期依赖国外商用数据库产品,金融机构不但无法自主掌控核心系统的“心脏”,而且还需要长期投入高昂的软硬件成本,同时互联网业务的爆发性增长也导致“心脏”压力骤增,成本呈指数级增加。因此,如何实现金融级数据库的自主可控和降本增效,为核心系统平稳换“心”,成为金融行业关注的焦点
领取专属 10元无门槛券
手把手带您无忧上云