Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >选型宝访谈:怎样构建统一、共享的主数据平台,打造真正干净的数据治理能力?

选型宝访谈:怎样构建统一、共享的主数据平台,打造真正干净的数据治理能力?

原创
作者头像
选型宝
修改于 2019-08-15 08:49:39
修改于 2019-08-15 08:49:39
6030
举报

今天,商业环境瞬息万变,竞争日益加剧。

无论你是什么行业,你都无法回避的一个关键词是“数字化转型”。通过数字化转型,让企业变得敏捷,成为一种时代精神,也是我们这代IT人的使命。

然而,无论是业务层面的创新需求,还是决策层面的数据分析需求,都要干净、准确的业务数据作为支撑。只有拥有一个规范的、干净的数据基础,才有可能谈创新,才有可能在复杂多变的商业环境下,做出科学的决策,数字化转型战略才有机会落地。

在企业纷繁复杂的数据里,有一类数据事关全局,例如:客户数据、产品数据、员工数据…这些数据被频繁复用、影响全局,正在成为数据治理中的难点、痛点。

数据管理系统正是以这些共享的、静态的数据为抓手,尝试通过建立一个统一的、共享的管理系统,通过治理和规范,形成打造真正干净的数据治理能力。

然而作为一类重实施的项目,主数据管理的实施并不简单,其中有诸多脏活、累活,项目实施风险很高。

主数据管理项目实施风险有哪些?

主数据产品选型关键注意事项是什么?

带着这些问题,选型宝采访了Stibo Systems 大中华区专业服务总监张金良先生。

干货满满,尽在访谈实录中…

本次访谈的观点精华

选型宝:在您看来,什么样类型的数据属于主数据,它跟其它的数据是一个什么样的关系?

张金良:主数据有三个标准,第一个就是唯一性,这个好理解,既然做主数据一定是唯一的,不能有重复的,这是唯一性。

第二个就是共享性,主数据一定要是在整个企业的业务系统中能够一直在流转的,各个系统都会使用的,这种是共享性。

第三个是静态性,这个数据是相对于静态,不是变化频率特别高的,不像我们的交易数据可能一分钟变几十次这种,它的数据相对静态。

一般来说我们会拿这三个标准来去进行一个梳理,这是传统的主数据定义的一个概念。当然现在对于主数据可能有一些外延或者有一些管理方式的变化,但是它的数据层面界定,我们基本上还是以这个为主。

业务数据之间跟主数据的关系,其实就是主数据是业务数据的基础,主数据到了各个业务系统,我会去补充它的一些业务属性,这样的话这个数据可能会更加丰富。

同时还有一些业务数据,交易性的数据,在跑的时候其实是拿主数据作为基础数据来去生成的。所以主数据是所有数据里边最基础、最核心的一部分。

选型宝:主数据管理跟数据治理这两个概念,我们应该怎么去理解它们之间的关系呢?

张金良:其实主数据跟数据治理,我们的简单理解,它们相互合作,是共同帮助企业提高数据质量。

其实数据治理它属于数据管理中的一部分,主数据管理又是数据管理中最核心的一部分。

企业在做数据治理的情况下,首先要有主数据管理,要有数据标准、规范,需要建立成熟的主数据管理流程,那基于这个,再做数据治理,包括数据清洗,至少我们说有法可依,你要依据哪一种标准来去进行数据的清洗,数据治理,那如果你的标准不定的话,你这数据只能越来越乱,今天我是这个标准我要这么去做,明天另外部门我另外一个标准,那数据肯定会乱的,一定要有一个统一的标准。

主数据管理,就是他把主数据层面的整个标准流程,包括一些定义落地,能保证这些数据的质量,那以这个为基础,我再去做数据质量,那就更加容易一些。

我们认为主数据管理,是整个数据管理中最核心的基石部分。

选型宝:一般而言,企业实施主数据系统,会经历怎么样的一个历程?

张金良:一般来讲,分为以下几步:

第一步 主数据的界定

我们要去做一些宣贯,跟客户讨论,他们什么样的数据是主数据,这个过程叫主数据的界定,或者叫主数据识别。界定的标准就是刚才说的唯一性、共享性、静态性。

第二步 确定主数据的维护流程、标准规范

访谈完之后,确定其这些数据维护的标准规范,如果是合理的,我可以研究它们,如果有一些可以变化,可以去改变,或者优化的,我们会给出一些意见,要细到字段级,我的数据类型是什么样的、大小,长度等等,这是一些主数据标准上面的东西。

同时也要帮客户梳理数据维护流程,未来参与这个流程大概都是谁,每一个流程节点的角色,应该是什么样的人,推荐什么样的人去担任这样的职务,去负责这一块。

因为你这个数据标准它也不是说一成不变的,之前定完之后,后边还会经常有一些变化,这个时候一定要有专门的人或者是组织办这个事。

第三步 历史数据清洗,进入主数据系统

数据清洗是主数据里边实施的一个很大的部分。数据如果质量不高,是脏数据、乱数据,进了主数据系统里,它还是脏乱的。如果没有数据清洗,我只不过是把脏数据,从这个地方拿了一个备份,放到另外一个地方,没有解决根本的问题。

结合确定的标准规范,对历史数据进行清洗,确保清洗以后,干净的数据进入主数据管理系统。

第四步 数据映射

清洗以后,主数据系统里存的是唯一可信的数据,在业务系统中,可能存在于重复的数据,或者数据质量很差,在这种情况下,要去做这种映射。

主数据管理系统把清洗过的数据,回推给业务系统,然后再一个保留映射的关系,因为交易在跑,如果把数据完全改的话,可能就原来的这个系统单据,这种历史数据可能走不下去了,所以说可能是要有映射关系,有一个过渡的过程。

选型宝:项目上线以后,怎样的机制,保证新产生的数据符合规范?

张金良:通常,我们讲究一个事前、事中、事后的一个概念。

事前,数据进来之前,要校验,质量不好的话,有问题的,我不要,这是一种。

另外一个我在里边维护的时候,因为人为做会有失误,不能保证人做的都是对的,在这个情况下,事中的时候,也会有一个监控跟治理的过程。

事后,主数据系统往业务系统推数据的时候,也一定是要按照符合业务系统要求规范,推下去。

整个这三部分,事前、事中、事后,都要有数据管理体系,而在我们的组数据产品,Stibo里边,其实有这些功能的。

比如说我会有一些校验接口,哪怕你是用自己的业务部门来去维护,你也是要到主数据系统的接口来进行数据校验,保证进来数据是OK的。

同时在里边,我们会有一些数据质量分析的报表,定期的去跑,有问题的话直接就能提示你这些数据有哪些问题?这个的话,在数据维护管理是非常重要的,因为我一眼就看到了哪一条数据什么问题,我就可以直接去进行更改、维护。

另外一种功能,我会有一些业务规则或者是流程校验的机制,你在里边维护的时候,我当时能提醒你,你这个输错了,你这个东西做的不对,或者不符合标准,这样整个是一个完整的体系。从数据标准、规范、流程,这几种合作才能保证它数据的干净程度。

选型宝:数据的校验机制,这个背后的是一些什么样的逻辑,能举几个例子吗?

张金良:其实校验这块,我们也会经常遇到,简单来讲就是我们经常自己上网登录东西发现的,这个框是文本就不能输数字的。

简单的,长度是20位的编码,你不能输40。比如手机号,你要超过11位,我就认为你输错了。

但是再复杂一些,比如说你的×××号进来之后,它会给您校验,你这个是不是自己编的?因为×××号它会有校验位,它不是自己编的,第二号码区号,你随便录,是不是对?

然后再复杂,比如说我的数据进来之后有一个判重,跟主数据要识别它的唯一性,之前录过一条数据,你过两天以后,可能录得非常相似或相近,我要去提示你。等等诸如此类的机制,来保证后续的数据是持续干净的。

选型宝:作为一种实施风险比较高的项目,您认为,可能导致主数据管理项目失败的因素有哪些?

张金良:其实从主数据管理来讲,实施难点主要在于几个方面:

1、怎样驱动业务部门落实新的管理规范

一般好多企业是这样,使用业务系统我要去使,但是都会认为整个数据的维护管理都应该是IT的事。

实际情况是,好多数据其实是从业务部门来的,这种情况下它在界定数据维护流程的时候,制度规范很难去往下推。人人都愿意享受数据规范后的便利,但是不一定愿意承受规范带来的束缚。

2、历史数据的清洗,这是一个脏活累活

另外一个点很重要,就是数据清洗,以前这个历史数据哪些数据能进主数据,要进之前,一定要做清洗,这步很关键的。

理论上其实每条每个字段都要过了,所以这个会比较苦,量会比较大,用我们的话讲就是干脏活累活的。

这一步,也是很重要的一个潜在风险,是关系到项目成败的关键。

选型宝:有哪些策略可以降低实施风险?

张金良:首先是要确保领导有力

这个项目一定需要比较高级别的领导才能推动,只有高级的领导,才能够去协调动各个部门之间的资源或者是人力。

包括比如说专家,包括各个部门的组长,他来去做数据的规范、数据标准的制定,他来去领导这个流程走下去。

如果有数据变更,他能去做一些仲裁这样一些内容,所以说这一定要是一个级别比较高的人才能推动这个项目。

第二,做好激励

在整个项目实施的过程当中,我们会把这个数据进行一个界定,定义这个数据的数组,到底是谁来管这块数据,哪个部门来负责哪一部分。

我们系统会有一个整个追溯的过程,到底是谁什么时间做什么维护,改了什么样的数据,会有这样的追溯过程,并且我们会对数据质量有一个评估,有些KPI指标,可以评估整个数据维护的及时性,包括准确性,通过这种KPI指标来统计每个人,可以跟他的绩效进行挂钩,也相当于进行一些相应的正激励或者负激励方式,也是去促使用户既在享受高数据质量的优势的同时,也要有一个贡献。

第三,通过产品和技术手段,尽可能沿用之前的数据维护习惯

例如,把主系统和有些页面直接嵌到业务系统里去,沿用用户以前的维护习惯,让用户感觉不到在维护主数据系统,他感觉到我是在为业务系统维护数据,但实际上他进到了主数据系统里面。

通过降低习惯的改动,降低业务人员的抵触情绪,降低实施风险。

选型宝:站在客户的角度看,您认为选择一款主数据管理平台,应该重点考察哪些维度?

张金良:如果以客户角度来讲,选择一个主数据平台,应该从以下角度考察:

▣ 第一,易用性

是不是非常好用,是不是非常容易上手,然后是不是我业务部门就能去使,产品做的足够易用,才更容易减少业务部门的抵触情绪。

▣ 第二,扩展性

就是刚才说的或者是叫业务响应性,如果数据的结构、标准发生了变化,能不能在第一时间能够响应业务的要求,而不是说再去找原厂重新开发,重新搭建结构、重新部署等等一系列东西,那可能这一系列时间过去之后,那个最佳时机已经过去了。

▣ 第三,公司和产品的持久性

因为主数据来讲,它这个核心数据是非常重要的数据。这家公司一定要未来看到它是一个持续发展的公司,不能说过几年这公司都没了,那我这个系统,我的这么重要的数据没有人来去维护,没有去做更新,这也是很关键的。

▣ 第四,实施人员的业务能力

因为看似只是纯数据的一个东西,但是你要对它的业务要有一些比较深的了解,你能给他一些经验,比如说哪个行业里边这个数据一般来说怎么维护,然后一般来说定义的数据标准什么样的,我的数据的质量属性一般是哪一些,这有给他一些指导。

▣ 第五,项目周期

这块放到最后,其实很重要。

很多客户都会想实施周期短,因为一旦发现数据质量问题,就肯定想越快越好,所以说项目实施周期也是非常重要,就是我能不能尽快的在半年以内把这个数据治理好。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
数据治理:某环境公司主数据管理项目经验分享
作为企业运营的基石,主数据承载着企业决策和业务流程优化的关键。某环境股份有限公司在应对项目、组织、客商及设备与物资等多领域主数据管理挑战的过程中,不断探索与创新。现在,让我们一同深入这个案例,去探寻如何构建高效统一的主数据管理体系,从而以数据为核心驱动力,推动企业向更加智能化、高效化的未来迈进。
数据狗忙忙忙
2025/02/12
1440
如何把握数据治理项目启动的最佳时机
如今,大数据正在社会的各行各业发挥着越来越重要的作用,数据已成为企业的核心资产和重要战略资源,是重要的生产因素。在数据驱动的信息化时代,企业只有将核心业务数据更好地掌握在手中,才能从中萃取更大的业务价值,进而优化产品管理,拓展市场新渠道,打造企业核心竞争力,而数据治理就是挖掘这些价值的重要手段和工具。对于企业而言,为什么要开展数据治理?何时启动数据治理项目?如何实施数据治理?在理清这些问题的前提下,借助端对端的数据治理,引领企业加快数字化转型,从而获取最大限度的价值。
木东居士
2019/09/27
5390
如何把握数据治理项目启动的最佳时机
主数据管理及其挑战
主数据管理(Master Data Management, MDM)是一种策略、技术和流程的集合,旨在创建和维护企业中关键业务实体的单一、准确、一致和完整的数据视图。这些关键业务实体通常包括客户、产品、供应商、账户、员工等信息。主数据管理的目标是确保在整个企业范围内,这些核心数据的一致性和准确性,以便于支持决策制定、业务流程优化和数据分析。
KPaaS集成扩展
2024/11/11
1121
主数据管理及其挑战
浅谈制造业主数据项目解决方案
在中国制造2025战略决策的指引下,制造业都在智能制造领域探索自身的发展路径,希望能够跟上数据发展的浪潮,以数据驱动业务快速提升企业竞争力。那么面对企业海量数据,如何找到数据管理的切入点呢?分析近些年我所接触到的制造业数据项目中,制造业在数据管理方面起步较晚,企业自身已经意识到数据管理的重要性,并根据自身发展情况不同而选择适合自己的建设目标,大多数企业纷纷选择主数据管理来入手。 制造业主数据有着鲜明的特点,首先主数据分布在设计、工艺、生产过程中的多个业务部门中、在众多异构系统中使用、主数据本身具备多学科的特
yuanyi928
2018/03/30
2K0
浅谈制造业主数据项目解决方案
CDGA|主数据管理实施方案:规划与具体策略的全面解析
在当今数字化转型的浪潮中,主数据管理(MDM, Master Data Management)已成为企业提升数据质量、优化业务流程、增强决策能力的重要基石。一个成功的主数据管理实施方案不仅需要周密的规划,还需要具体可行的策略来确保项目顺利推进并达到预期效果。
弘博创新
2024/08/08
2170
CDGA|主数据管理实施方案:规划与具体策略的全面解析
实施数据治理项目是数据中心建设的关键,数字化转型的基础
企业数字化转型趋势是“数据”引领业务变革,数据集中管控成为大势所趋,如何做好数据共享和数据分析、如何发挥数据资产价值最大化是我们信息化工作首要目标,本文从基本术语及概念、数据共享服务、数据资源中心架构、数据治理平台、数据运营体系等10核心观点来阐述,实施企业级数据治理项目是数据资源中心建设的关键,是企业数字化转型和发展的基础。
Spark学习技巧
2019/10/24
1.1K0
主数据管理理论与实践
本文介绍了主数据的概述,包括主数据的定义、特征、类型、和其他数据的关系,主数据管理的意义,主数据管理的实施痛点,主数据管理的内容,主数据的管理实施方法以及项目实施示例等内容,为对主数据和数据管理有研究兴趣的朋友提供了一定的参考。
大数据学习与分享
2022/07/13
7870
主数据管理理论与实践
什么是主数据管理?企业主数据管理方法论
主数据又被称为黄金数据,其价值高也非常重要。对企业来说,主数据的重要性如何强调都不为过,主数据治理是企业数据治理中最为重要的一环。主数据管理的内容包括 主数据管理标准、主数据应用标准 和 主数据集成服务标准 三大类。
informat低代码
2023/08/15
9180
数据治理方法:如何从0到1搭建企业级主数据管理平台
多年前,当我们开始“玩主数据”的时候,客户领导担心业务部门不能正确理解,把它称为“公共数据”——这个名称虽不够准确,却为普及主数据和主数据管理奠定了良好的基础。
马哥说数据
2021/05/13
1.9K0
数据治理方法:如何从0到1搭建企业级主数据管理平台
数据管理的四大基石:通俗解读数据中台、数据仓库、数据治理和主数据
很多人听到数据中台、数据仓库、数据治理和主数据这些名词时,可能会还是觉得抽象难懂。但其实,如果我们用通俗的语言和生活中的例子来比喻,就能轻松揭开它们的神秘面纱。
数据狗忙忙忙
2025/02/12
2300
刘晨:大数据怎能没有你--数据治理
主讲嘉宾:刘晨 主持人:中关村大数据产业联盟 副秘书长 陈新河 承办:中关村大数据产业联盟 嘉宾介绍: 刘晨:广州利为软件合伙人,从事数据治理软件产品研发与咨询服务。清华大学电子系本科、经管学院MBA。拥有数据治理领域六年以上从业经验。国际数据管理协会中国分会(DAMA China)核心工作组成员,国际信息和数据质量协会(IAIDQ)会员。译著有《DAMA数据管理知识体系指南》,编写《大型企业信息化工程项目管理实战》数据管理章节。 以下为分享实景全文: 主题汇报人: 刘晨:大家好,我是刘晨,来自于利为软件
大数据文摘
2018/05/21
15.3K0
【推荐】五分钟搞懂数据治理!!!
数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。
857技术社区
2022/05/17
2.9K0
选型宝访谈:移动+社交时代,如何治理“大数据洪水”?
写在前面
选型宝
2019/08/15
6830
选型宝访谈:移动+社交时代,如何治理“大数据洪水”?
Tapdata 杨哲轩:如何在零售行业实施主数据治理?
今天想和大家聊聊如何选择主数据管理方案。在上一篇文章里,我们谈到了数据孤岛形成的原因,简单地介绍了主数据管理的概念和主数据管理为何能发挥作用。
Tapdata
2022/12/06
4960
Tapdata 杨哲轩:如何在零售行业实施主数据治理?
​主数据与主数据管理
主数据被普遍定义为组织/系统间共享的描述业务实体的数据, 属性相对稳定, 变化缓慢。
KoLee
2021/10/14
2.3K0
数据血缘系列(6)—— 数据血缘与主数据
大家好,我是独孤风。在当今数据驱动的商业环境中,数据治理成为企业成功的关键因素之一,而数据血缘正是数据治理成功的一个关键。
用户6070864
2024/07/18
3510
数据血缘系列(6)—— 数据血缘与主数据
企业数据治理及在美团的最佳实践
数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。其实在我看来,数据可以分为两个部分,一是数字,二是文字。数字是没有意义的抽象符号,数据是有意义的数字。文字表意,数字表量,当两者结合起来,数据就产生了。
王知无-import_bigdata
2021/03/15
1.6K0
企业数据治理及在美团的最佳实践
谈MDM主数据管理系统设计和实现关键点
主数据是描述核心业务实体(如客户、供应商、地点、产品和库存)的一个或多个属性。所以主数据即是在进行企业业务架构分析中发现的核心业务对象。或者讲主数据是企业已经存在的涉及到价值链核心业务流程的各个IT系统的基础数据。
物流IT圈
2023/03/10
4.3K0
谈MDM主数据管理系统设计和实现关键点
国企人力资源数字化转型系列之如何开展人力资源数据治理?
2020年以来,在国资委《关于加快推进国有企业数字化转型工作的通知》的政策推动下,明确国有企业加速数字化转型的目标,在此背景下,众多领先的大型集团化国有企业也纷纷将人力资源数字化建设作为其全面数字化转型统筹规划中的关键一环,积极推进内部人力资源数字化转型。《通知》强调坚持数据驱动作为“六项主要原则”之一,很多国企通过内部自研或外部采购方式实现了各具特色的人力资源数字化服务,然而在缺乏对人力资源数据有效治理的情况下,无法实现国企对人才选拔任用数据信息的有效支撑,导致很多企业人力资源数字化转型仅仅停留在功能层面,根本无法助力国企推动数据驱动的人力资源管理。
风清扬1976
2022/12/26
1.3K0
【数据治理】什么是数据治理模型?
数据治理是识别组织的关键数据并确保数据质量和数据安全的过程。它还涉及从公司数据中提取价值以提高业务绩效。
架构师研究会
2022/05/18
1.2K0
推荐阅读
相关推荐
数据治理:某环境公司主数据管理项目经验分享
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档