Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >数据库运维管理平台面面观

数据库运维管理平台面面观

作者头像
jeanron100
发布于 2023-09-04 09:27:25
发布于 2023-09-04 09:27:25
5710
举报

近期因工作需要对国内数家主流的数据库运维管理平台做了个调研,同时对这一产品的发展演进趋势做了简单分析,供大家参考。

1. 数据库运管平台演进与特点

近年来,数据库运维管理平台市场非常活跃,涌现出一批有代表性的厂商产品,其背后也是数据库管理需求变化所致。在深究下来,也是近些年数据库技术演进与管理方式的变化所致。如上图艾瑞整理的演进变化,从中我们可以观察到较之以往的差异。下面我们聊聊有哪些鲜明的特点变化。

多样性

随着数据规模爆炸式增长及数据使用的多样性,导致企业对数据库的要求呈现多样化特点。同时伴随着近年来国内数据库厂商及产品大量涌现,整体数据库市场呈现“百花齐放”的状态。企业不得不面临管理大量不同种类数据库的需求,进而导致企业对数据库统一管理的需求突增。

跨平台

随着IT技术演进,企业基础设施平台走过了早期物理机、虚拟机,到后来的容器化、云与云原生之路。考虑到企业间发展阶段差异,往往存在需对接不同平台、甚至单一企业内部也存在多种平台的情况。这也倒逼数据库管理平台方提供对多平台的支持能力。

多架构

随着数据库技术演进,也同样走过了从单机、集中式、到分布式、云原生的道路。且通常在一个企业内存在多种数据库、多种技术架构产品并存。这同样对数据库管理类平台提出了更高的要求。

独立性

通常数据库原厂都会提供自有产品的管理能力,但受到资源能限制,一般都会将主要力量投入到内核研发中。同时受到技术壁垒、行业分工以及其他市场因素的限制,数据库原厂无法提供自身产品以外的跨数据库统一管理和配套服务,留出的市场需求空白必然要由独立的数据库生态厂商进行补充。

全流程

从平台管理能力上看,也不再仅仅局限于数据库管理,而是覆盖从基础资源管理、数据库自身管理、数据开发、数据安全等多方面,企业用户也希望在单一平台解决所有数据库上下游相关工作。

开放性

很多企业,特别是中大型企业,都有自己一套IT管理方式,而不仅局限对产品使用。这主要是基于企业自身特点及统一化管理类诉求。此时就希望工具平台提供一定的开放性,可以与企业内已有平台很好融合使用。

智能化

近年来人工智能技术快速发展,给数据库管理提供一种新的思路。以此帮助企业降低数据库管理成本,提高数据库管理质量和效率,加强数据库的安全性和稳定性。上述能力也希望内置于数据库管理平台中,进而实现管理智能化。

2. 数据库运管平台核心能力

如上面所谈,数据库运管平台需支持对多平台、多架构的数据库产品在全生命周期内的管理维护工作,其包含的平台能力非常繁多。前段时间对国内数据库运维管理平台做了个小调研,下文就是结合国内部分主流厂商产品能力,将平台应具备的产品能力加以说明。受限于个人能力及收集到的资料完整性,下述功能对比仅代表个人意见。厂商产品我以代号标志,请勿对号入座哈:)

集成迁移

集成迁移能力,是企业使用数据库的"高速公里"。这里包含异构数据库之间的、云下云上之间的数据库迁移同步能力;此外还包括如离线数据的导入导出及数据抽取架构等能力。从管理平台角度看,这一能力并非刚需,部分厂商通过外置工具实现。从市场来看,很多专业的数据库迁移同步厂商提供此类产品,用户接受度也更高。

环境部署

环境部署,是指自动安装数据库环境,其价值在于减少人力成本和错误率。这一能力重点考察的是支持多种环境、支持安装多种类数据库、支持安装多种架构的数据库集群。从厂商功能调研结果来看,基本功能都是具备的,主要差异就在于支持范围的大小。

弹性伸缩

弹性伸缩功能分为两种,一种是Scale UP、一种是Scale Out。前者是垂直扩缩容资源即可,通过云、容器化能力相对容易实现,部分厂商产品也做的不错。后者则是依赖于数据库自身能力,有些数据库原生就是分布式架构,提供对计算、存储的扩展;有些数据库是单机架构,则需要在前端提供分库分片的能力才能实现扩容。

实例管理

实例管理,是解放DBA双手的能力,可将数据库管理动作标准化、在线化、甚至自动化。这部分重点强调管理能力的范围,尽量将手工操作都白屏化。从厂商提供能力来看,基本都可以满足常规的运维管理诉求。

性能服务

数据库运行状态是否OK?当前是否存在性能瓶颈?也是 DBA 日常管理重点关注的,这其中包括如热点、负载、内存、缓存、I/O分析等。上述能力,可以让DBA快速找到系统可能存在的瓶颈,并及时采取有效的干预手段。这些内容也是为后面的系统优化做一铺垫。

系统优化

如何让系统运行在最佳状态下,之前很多是通过人工经验完成,现在人工智能算法提供一种新思路。从使用来看,无论是前者,将人工经验内置在系统中;还是后者,将算法模型来优化系统,只要能达到好的运行效果即可。这其中目前支持比较多的如实例参数、索引优化等,其他方面还有很大的提供空间。

监控巡检

监控巡检,就是提供数据库运维日常的监控、告警和巡检能力,是属于一种“主动”的管理行为。其难点不在于收集到更多指标等,而是在于从繁多的监控指标或巡检数据中,找到系统运行风险的蛛丝马迹。这里可结合一些人工智能的能力,尽量做到不漏不丢的前提下,减轻被监控端的压力。

故障处理

故障处理,是指对故障进行智能分析、诊断和自动化处理。这对于快速解决系统问题,减少 RTO 很有意义。随着数据库系统越来越复杂,通过人工在纷繁复杂的故障问题中快速定位、快速解决愈发变的困难。这一能力对 DBA 尤为重要。这其中难点在于通过人工经验抽象积累和故障案例的学习,提升系统处理故障的能力。

备份恢复

数据安全是DBA的生命线,通过平台协助企业进行全量、增量备份与恢复管理是非常有价值的。这一功能难点在于,一是大量数据库实例备份恢复的管理,二是备份恢复中减少对线上环境的影响,三是可对备份集做检测减少丢失风险,四是提供比较友好的交互方式。

高可用

数据库可用性,是保障业务连续性的前提,也是企业最为关注的能力。管理平台一方面可提供不同高可用架构的搭建,另一方面当出现故障时可快速实现高可用切换,减少RTO。这其中的难点在于,不同数据库高可用能力差异巨大,有些只能通过外部工具方式辅助完成;且如何实现对前端业务的无感知也是重点。此外,针对同城、异地等多种条件下的可用性要求,对平台提出了更高的要求。从调研来看,这方面还有较长的一段距离。

容量管理

容量管理,是指对数据库的计算及存储资源做的管理动作,可尽早发现可能的容量问题,提前做好资源规划。其中包括如计算容量、库容量、表空间、数据对象等的管理。如企业业务发展很快,对容量管理这部分就很重要;再比如有类似双11的大促活动等,也需要此能力。但相对而言,这部分能力现有工具平台相对功能较弱。

安全管控

安全管控,是指提供数据库之上包括运维管理、数据开发、数据流转等全方位的管控能力。这其中涉及的方面很多,有些依赖于数据库自身安全能力,有些则需平台方提供。从调研来看,这方面能力参差不齐,差异较大;而且一般来说也有很多数据库安全产品提供此类能力,用户可基于其他平台构建。

运营支持

运营支持,是指将平台管理的各类数据提供类似可视化大屏能力,可方便用户快速了解整体使用情况。

多数据库

如前面所说,当前企业用户使用的数据库众多,需要运维管理平台提供多种数据库支持能力。特别是随着近些年国产信创需求,很多用户开始在生产环境使用国产数据库。作为一种新引入的数据库产品,是急需管理平台来解决日常管理问题,降低使用门槛。但这方面往往困难较多,一方面确实待支持的产品很多、架构差异很大,二方面国产数据库的完整度还有待提升,特别是对于外部生态工具的支持还有不小的差距。

多平台

如前面所说,当前企业使用多种平台管理数据库,同样需要运维管理平台支持上述能力。特别是随着容器化、云化日益被客户所接受,对上述平台的管理支持能力尤为重要。这其中面临的问题主要是管理方式的统一抽象,提供标准化的管理能力。

租户隔离

随着数据库能力的提升,很多用户处于成本经济性、管理便捷性等角度出发,考虑使用租户能力。但不同数据库提供的租户能力差异很大,管理平台相对比较受限于底层能力。这方面相对能做的不多。

数据开发

为提升数据开发的效率,很多平台提供对数据开发的增强的支持,其中包括如数据库审核、SQL质量管理等。受众群体包括DBA、DEV、TEST等多类人群。这部分作为相对边缘的功能,各厂商差异很大,有些通过独立产品提供相对完整的产品功能。

开放能力

除了平台自身提供的能力外,如何与企业内其他平台协同也很重要,这就涉及到平台是否提供开放能力,例如 API 的方式。特别是对一些传统企业、中大型企业和互联网公司,尤为重要。

3. 数据库运管平台发展趋势

为满足前文所谈的多样性、跨平台、异构化等趋势,数据库运维管理平台发展趋势包括以下几个方面:

  • 云化趋势:随着云计算技术的迅速发展,云化趋势将成为数据库运维管理平台的主流发展趋势。数据库运维管理平台将逐渐向基于云的SaaS平台发展,实现跨地域、跨云平台的资源监控和管理。
  • 智能化趋势:数据库运维管理平台将更加注重应用人工智能、机器学习等技术,实现数据库管理自动化和智能化。例如,数据库自我诊断、自我优化、自我备份和恢复等功能将逐渐成为发展的方向。
  • 多模式趋势:随着数据储存模式的多样化,数据库运维管理平台将逐渐实现多模式的数据存储,管理和控制,并实现多模型数据的查询和分析。
  • 安全智防趋势:随着数据库安全事件频繁发生,数据库运维管理平台将更加注重数据库安全的智能防护。例如对不合法的SQL操作,恶意登录,数据泄漏等安全事件进行实时监控,及时发现并处理异常情况。
  • 自动化趋势:数据库运维管理平台将更加注重自动化运维的发展,推进各项操作的自动化实现,减少人工操作的参与,提高运维效率和管理质量。

综上所述,数据库运维管理平台将逐渐实现云化、智能化、多模式化、安全化和自动化的发展趋势。作为一个专门用于进行数据库管理和运维的平台,将实现更高效的数据库管理,更保障企业数据的可靠性和安全性。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-06-19,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 杨建荣的学习笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
长文:数据库架构面面观
本文为近期参加dbaplus社群在线直播活动摘录。作为一个数据库领域资深从业者(好吧,我是个70后)。近些年来,主要从事数据库产品、架构等工作。下面将以我个人感受,谈谈数据库架构工作的多方面影响因素及成长、实践话题。希望能给大家带来些思考。
用户5548425
2020/08/13
3740
长文:数据库架构面面观
优云新一代智能化运维管理解决方案
摘要 优云软件解决方案中心总监童华权为我们带来优云作为国内在运维领域做得比较深刻的厂商,在运维管理方面的一些见解。 运维面临的挑战 数据中心进入“两化转变” 数据中心转向“两化转变”,技术架构层面随着
IT大咖说
2018/04/04
4.4K0
优云新一代智能化运维管理解决方案
数据库管理与运维难不难?腾讯云数据库给你答案
为帮助开发者更好地了解和学习前沿数据库技术,腾讯云数据库特推出"DB · TALK"系列技术分享会,聚焦干货赋能创新,邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 3月30日第一期分享会“数据库管理与运维”专场已结束,本期带来各讲师分享精华及直播回顾视频。想要讲师ppt的小伙伴,可在腾讯云数据库公众号后台发送"3.30讲师课件",即可获得讲师课件哦! 迁移利器DBbridge 技术实现原理 ——程学飞,腾讯云数据库高级产品经理 DBbridge软件的
腾讯云数据库 TencentDB
2022/04/19
1.2K0
数据库管理与运维难不难?腾讯云数据库给你答案
两组有趣的数据库调研结果
谁来决定数据库技术选型?从这篇数据中我们可以发现,在企业进行数据库技术选型中,不同角色的权重不同。调研结果揭示架构师>开发者>DBA>管理者,这与我之前认为的管理者、DBA为选型的主导者大相径庭。当然这篇调研报告,应是来自国外,跟国内的情况还是有些差异;但从中也可观察到在技术选型的某种趋势。
用户5548425
2020/09/01
5510
关于国产数据库的46个问题
近些年来,国产数据库成为较热门的话题。有越来越多的公司考虑采用国产数据库产品。近期在与twt社区的互动中,发现有大量相关的讨论,关注度也较高。特将自己回答的部分问题摘录如下,也算是对若干热点问题的个人观点。
用户5548425
2022/08/31
1.3K0
【干货整理】云数据库时代,DBA将走向何方?
伴随云计算的迅猛发展,数据库也进入了云时代。云数据库不断涌现,产品越来越成熟和智能,作为数据库管理员的DBA将面临哪些机遇和挑战?又应该具备什么能力,才能应对未来的不确定性?
jeanron100
2022/12/14
6690
【干货整理】云数据库时代,DBA将走向何方?
我不会写代码,能做DBA吗?
本文转载自云加社区 导语 | 虽然数据库上云解决了传统数据库很多问题,但如何让云数据库发挥最优的效能,依然充满极大挑战。为解决这一难题,高速发展的云数据库正在走向“自治”。本文是对腾讯云数据库高级产品经理刘迪在云+社区沙龙online的分享整理,为大家带来腾讯云在数据库自治服务领域的探索和实践,希望与大家一同交流。 点击视频查看完整直播回放 一、数据库自治的演进 上图所示是一张关于数据库自治的宏观视图。 业内普遍定义的石器时代大概是在十几、二十年前,刚刚进入数据库发展的快速轨道,当时的技术方案和对于
腾讯云数据库 TencentDB
2020/08/13
1.1K0
报告解读下载 | 国产数据库专题-沐风栉雨,砥砺前行
编者注:本系列与读者共同分析数据库行业的最新动态。关注“数据和云 ( OraNews)”公众号回复:下载 。可以找到下载链接。 本次推荐文档来自 西南证券研究发展中心 数据库专题报告《沐风栉雨,砥砺前行》。 核心观点 数据库是信息化时代的基石产品 数据库具有处理、存储、管理数据的功能,在信息化时代扮演着至关重要的角色。随着数据量的不断增加和数据形式的不断多样化,非关系型数据库和开源 数据库也应运而生... 数据库厂商近年来也在积极推进云数据库产品,以期能够未来优先抢占云数据库这块 “蛋糕 ”。 2. 数据
数据和云
2022/03/28
7580
云数据库时代:企业数据架构的云化智能重构和变革(含大会PPT)
在2018年11月16日举行的『数据技术嘉年华』大会上,我对行业近期的观察和思考做了一个总结,在此和大家分享
数据和云
2018/12/18
1.2K0
云数据库时代:企业数据架构的云化智能重构和变革(含大会PPT)
2022爱分析· 中国分析型数据库市场研究报告 | 爱分析报告
数字化时代,数据使用场景呈现多元化趋势,数据规模也随之爆发式增长。海量异构数据的爆发式增长,对数据库的存储和计算能力提出了更高的要求。分析型数据库因其在处理海量实时数据时具有优秀的存算和管理能力,近年来赢得了市场的青睐。
爱分析ifenxi
2022/06/01
1.2K0
2022爱分析· 中国分析型数据库市场研究报告 | 爱分析报告
2023爱分析· 云管理服务(MSP)市场厂商评估报告:华创方舟
数字化时代,应用成为企业开展各项业务的落脚点。随着业务的快速发展,应用的功能迭代变得越来越频繁、业务系统变得越来越复杂、对IT资源的需求也变得越来越弹性。如何合理高效分配利用底层IT资源、管理上层应用、平衡二者关系,成为企业当下数字化建设中的重要关注点。
爱分析ifenxi
2023/02/20
9340
大道至简:数据库的终极未来
Oracle 23c 提出的理念是 App Simple,亚马逊在 re:invent 2022 大会提出的一个理念是 ZERO ETL,其实都是在简化。
数据和云
2023/01/04
5040
大道至简:数据库的终极未来
数据库异常智能分析与诊断
总第507篇 2022年 第024篇 DAS(Database Autonomy Service, 数据库自治服务)面向研发和DBA,是一款为用户提供数据库性能分析、故障诊断、安全管理等功能的数据库自治服务。DAS利用大数据手段、机器学习、专家经验,帮助用户消除数据库管理的复杂性及人工操作引发的服务故障,有效保障数据库服务的稳定和高效运行。本文主要讲述DAS的历史背景、演进策略、重要功能及实现思路,希望能对从事相关开发的同学有所帮助或者启发。 1 现状与问题 1.1 规模增长与运维能力发展之间的不平衡问题
美团技术团队
2022/05/06
2.1K0
数据库异常智能分析与诊断
华为“备胎计划”远不止芯片,数据库的征程已在路上
“实体管制名单”、“备胎计划”、“Google停止合作”、“90天临时许可”,接踵而来的新闻将华为顶到风口浪尖上。或许是因为任正非的军人出身,让华为的基因中带有极强的忧患意识,从十多年前就开始不断要求“按照极端情况进行备战、建立备胎计划”,并对今天的情况做好了准备。
科技云报道
2022/04/15
6270
华为“备胎计划”远不止芯片,数据库的征程已在路上
跨过数据库大山(发布会归来有感)
今日有幸受邀参加腾讯云数据库发布会,在其圆桌论坛环节,与几位行业大咖就数据库当下的热点话题,进行了分享。下面将我的一些分享要点,汇集如下。
用户5548425
2019/08/30
5730
跨过数据库大山(发布会归来有感)
腾讯云2024双11大促:数据库智能管家 DBbrain最佳实践
腾讯云2024双11大促已正式开始,在这场活动中,腾讯云为用户带来了超值福利,其中云服务器CVM成为企业和个人用户部署应用、存储数据、处理信息的首选方案,其高效、灵活、可扩展的特性极大地促进了业务的快速发展。。
参谋带个长
2024/11/15
9150
腾讯云2024双11大促:数据库智能管家 DBbrain最佳实践
数据库纳管平台DBhouse的技术路线与实践
为帮助开发者更好地了解和学习前沿数据库技术,腾讯云数据库特推出"DB · TALK"系列技术分享会,聚焦干货赋能创新,邀请数十位鹅厂资深数据库专家每月和您一起深入探讨云数据库的内核技术、性能、架构、管理运维和最佳实践等。 3月30日第一期分享会“数据库管理与运维”专场已结束,错过直播的小伙伴也不要拍大腿,本期带来腾讯云数据库产品经理陈昊分享《数据库统一纳管平台DBhouse技术路线的最佳实践》的文字回顾。 大家好,我是陈昊,我的分享包括四个部分:产品建设背景,为什么要做DBhouse;产品架构,包括技术架
腾讯云数据库 TencentDB
2022/04/01
9820
数据库纳管平台DBhouse的技术路线与实践
国产的数据库新增一员,华为携GaussDB入局
墨墨导读:日前,华为公司在京面向全球发布了人工智能原生(AI-Native)数据库GaussDB和业界性能的分布式存储FusionStorage 8.0,将多年的AI技术和能力以及数据库经验融入到新品,实现很多创新性突破,比如人工智能技术融入分布式数据库的全生命周期、一套存储可同时支持块、文件、对象、HDFS协议等。
数据和云
2019/06/20
1.6K0
国产的数据库新增一员,华为携GaussDB入局
大模型时代下,智能运维和数据库的再进化
AI时代下,数据库、大模型及算法、云计算这三大核心技术领域都各自呈现出多样化的发展趋势,这些趋势相互交织、相互影响,共同推动着整个AI生态系统的发展和进步。
腾讯大讲堂
2024/05/14
6060
大模型时代下,智能运维和数据库的再进化
行业数字化转型呼唤IT运维管理智能化、敏捷化
本文引用艾瑞咨询《2020年中国IT基础架构运维市场研究报告》中的内容。目的是引导读者关注IT运维管理领域的市场环境,行业客户的需求情况,以及竞争格局。特别是金融行业数字化对IT运维管理的需求。
华汇数据
2022/12/02
1.1K0
行业数字化转型呼唤IT运维管理智能化、敏捷化
推荐阅读
相关推荐
长文:数据库架构面面观
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档