数据库如何驱动企业互联网架构转型
传统行业更多转向“私有云”
现今几乎每个大型技术峰会,都离不开互联网金融,企业数字化转型话题。国内外大型云计算独角兽企业,例如阿里云、Amazon、微软Azure等云计算供应商更是提供一站式服务,从底层硬件基础服务到顶层应用业务SaaS软件,帮助企业实现互联网架构的数字化转型。
但大多数金融企业如银行、证劵、保险等不是所有业务全部都交给公有云计算厂商,希望通过自身的IT私有云系统架构体系,来满足互联网应用的需求。
互联网架构转型的难点
互联网架构总结最关键性的特性--“高弹性”,即实现业务快速部署交付,弹性扩展集群规模来应对业务快速发展的需要。
当前互联网+业务模型更是加剧传统企业的架构转型,业务发展速度快,需要提升IT系统的弹性扩展能力,实现资源快速供应、软件快速部署,而且这类应用通常变化快,需要快速试错和频繁的发布。
Docker容器技术为什么“再度”火热
Docker容器技术问世后一度非常火热,它以轻量虚拟化、快速就绪、资源损耗低等特点,能够有效帮助企业提高IT基础物理硬件资源利用率,节省成本。
企业内部基于Docker容器技术,打包编译了各自业务应用服务,如web无状态应用,通过开发人员自行编写的自动化运维管理软件,实现业务应用容器的仓库、版本管理、灰度发布以及安装部署等。
一些大型互联网公司,有足够开发人员,基于Docker容器技术实现了适应自身企业内部的“产品”,在技术大会上进行分享和宣传。但是真正的产品,它是具有可复制性的,无法直接将大型互联网公司内那一套架构直接照搬照抄。
云原生技术,Kubernetes的流行
在类似Kubernetes基于容器或者确切的说运行态容器编排系统流行前,企业面对如何利用Docker容器技术构建私有云或者混合云难题的痛点,kubernetes自上而下提供了一套系统体系和设计概念,帮助传统企业构建适用于互联网架构特点的系统架构。
但是kubernetes自身只是程序,实现的“编程系统”,实现了接口和系统集成,还未具备“产品”的属性。kubernetes也不是“银弹”,能够独立的许诺软件工程能够在生产率、可靠性有数量级的提升。
容器数据库集群解决方案关键技术
关系型数据库是企业走向互联网架构的痛点和难点,那么如何利用云原生技术,实现容器化数据库集群主要面临以下几个关键技术:
1.数据持久化,Docker容器技术本身天然适用于无状态服务,例如MySQL关系型数据库,以Docker容器的方式运行在系统集群中,数据存储安全、持久化和性能是基本功能。
2.高弹性,互联网架构本身特点快速适应业务发展的需求,能够快速扩展系统集群的节点数量,数据存储的容量以及计算规格等,主流的做法采用计算和存储分离的架构,将存储引擎数据下沉到分布式存储,以多副本的方式保证数据的安全性,同时具备良好的在线扩容能力。
3.自治能力,容器化、微服务架构以组件和模块的方式构建系统集群。系统组件模块,MySQL集群、监控报警、备份恢复等均以模块化方式在内部网络进行通信,没有生存依赖关系,能够在异常情况被系统感知重新调度到可用节点正常启动。
4.读写分离,互联网架构应用的场景非常复杂,MySQL单实例读写计算规格性能可能无法满足应用需求,需要通过中间件解析SQL请求进行负载分发,将更多的只读请求发送到集群只读实例。
5.业务连续性,即数据库解决方案的高可用问题,涉及数据库本身异常的检测、假死、脑裂等极端情况,以及基础平台物理机down机情况下的冗余能力。
沃趣科技QFusion平台
QFusion采用云原生技术、实现容器化MySQL数据库PaaS平台,该平台完全兼容官方kubernetes并通过软件一致性认证.提供MySQL数据集群数据零丢失、高弹性、高性能,是一款易管理的金融企业级RDS私有云产品。
极速交付
自助页面一键部署MySQL集群、集群内部包括MySQL主从数据库,数据库中间件、监控告警、备份恢复,拥有克隆实例、慢SQL明细和日志管理等功能。
高弹性
1.存储弹性扩容,QFusion平台实现基于kubernetes的在线扩展数据卷的CSI接口(可参沃趣科技提供给官方的文献资料:https://kubernetes.io/blog/2018/08/02/dynamically-expand-volume-with-csi-and-kubernetes/),帮助企业实现互联网业务快速发展同时,解决存储容量在线扩展的痛点问题。
2.集群弹性扩容,QFusion平台提供的MySQL集群,能够实现在线扩展多个只读从库实例的滚动升级功能(可参考沃趣科技提供给官方的文献资料:https://kubernetes.io/blog/2018/03/how-to-integrate-rollingupdate-strategy/),平台监测MySQL集群主从库数据同步状态,当且仅当从库的数据追赶上主库(小于设置的读写延迟阈值),提供只读功能,在线增加集群的QPS能力。
业务连续性
kubenrtetes平台本身具备良好的自治能力,能够检测系统组件在异常情况并重新调度到可用节点启动,我们实现MySQL集群逻辑层的高可用探测,包括MySQL集群实例本身的可用性、假死检测、数据库中间件可用性、极端情况脑裂处理机制以及物理节点异常冗余能力等。
数据安全
1.在线数据多副本,平台MySQL数据库集群采用计算和存储分离的架构,将在线数据下沉到底层分布式文件系统,通过分布式文件系统的多副本和冗余机制,保障数据的安全。
2.备份数据接口,平台提供MySQL集群在线热备份的数据通用接口,可设置备份策略和单次备份,将MySQL集群实例的在线数据以数据流方式备份到ceph等通用对象存储。
3.异构集群容灾切换,平台提供MySQL集群外部的从库搭建接口,可通过MySQL数据库自身的主备复制方案搭建异构集群,实现同城双活或两地三中心的灾备体系建设。
灵活性
QFusion作为容器化数据库PaaS平台,方便企业在已构建完成的Zstack,Openstack等IaaS基础硬件平台上,实现适用于自身业务发展的MySQL数据库私有云管理平台。
关于沃趣
杭州沃趣科技股份有限公司创建于2012年(股票代码:839849),是一家专注为企业用户提供基于高性能、高可用、可扩展的开放数据库云平台解决方案的国产厂商。公司创始团队为原阿里巴巴数据库技术团队核心骨干,凭借丰富的研发及运维经验,为行业客户提供数据库云产品及软硬件一体化解决方案。
公司产品已广泛应用于证券、保险、银行、能源电力、医疗、广电传媒、电信、快递物流、公共事业、大型企业等,为相关行业用户持续提供整体解决方案及服务支持。
公司先后获得国家高新技术企业、浙江省高新技术企业研发中心、杭州市高新技术企业、杭州高新区瞪羚企业等资质,并设有杭州市安全可控数据库技术研发中心。公司总部位于杭州,同时在北京、上海、广州、西安、兰州建立了分支机构,销售和服务体系辐射全国。
沃趣科技于2016年10月成功挂牌新三板。新三板挂牌是公司成长的一个里程碑事件,沃趣科技致力于成为最优秀的数据库云产品公司。
我们始终坚信,数据是驱动企业创新的源动力!坚持围绕企业数据库做好一件事
——让客户用上最好的数据库技术!