数据资产管理体系与标准

背景介绍

数据资产管理（DAM，Data Asset Management）是指规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理，以确保数据资产保值增值。《数据资产管理实践白皮书》

数据资产管理是一种数据管理方法，确保数据资产在整个组织中得到高效、有序和安全合规的使用，能够更好的发现数据价值。通常的，数据价值难以有效发挥的原因主要有：

• 缺乏统一数据视图：企业的数据散落在各个业务系统，无法快速识别有价值的数据信息及数据关联信息；
• 数据孤岛普遍存在：不同的数据标准和管理制度，导致业务系统中很难畅通的数据共享；
• 数据质量不高：导致业务分析不准确，难以基于数据进行高层决策；
• 缺乏安全的数据环境：容易造成数据泄露和数据滥用；
• 缺乏数据价值体系：对数据服务和数据应用缺乏合规指导，没有找到释放数据价值的“最优路径”；

为更大的挖掘数据资产价值，需要做到如下：

• 全面掌握数据资产现状：对数据进行全面盘点，形成数据地图，为业务应用和数据获取夯实基础；
• 提升数据质量：通过建立一套切实可行的数据质量监控体系，设计数据质量稽核规则，加强从数据源头控制 数据质量，形成覆盖数据全生命周期的数据质量管理，实现数据向优质资产的转变；
• 实现数据互联互通：制定企业内部统一的数据标准，建立数据共享制度，完善数据登记、数据申请、数据审批、 数据传输、数据使用等数据共享相关流程规范，打破数据孤岛，实现企业内数据高效共享；
• 提高数据获取效率：提升数据的获取和服务效率，让数据随时快速有效就绪，缩短数据分析人员和数据科学家的数据准备时间，加快数据价值的释放过程；
• 保障数据安全合规：通过制定完善的数据安全策略、建立体系化的数据安全措施、执行数据安全审计，全方位进行安全管控，确保数据获取和使用合法合规，为数据价值的充分挖掘提供了安全可靠的环境；

数据资产管理在大数据体系中的定位：位于数据应用和底层大数据平台中间，处于承上启下的重要地位。通过数据资产管理，可以更有效、更规范、更安全的基于数据平台进行数据应用开发。

跳转

数据管理体系

数据管理有相应的理论标准体系作为指导思想，对数据管理领域进行详细的划分，目前主要指导标准的协会有：

• DAMA（Data Management Association ） ：国际数据管理协会
• DGI（Data Governance Institute ） ：数据治理研究所
• IBM Data Governance Council：IBM数据治理协会
• CMU/SEI（Software Engineering Institute）：美国软件工程研究所
• CCSA（China Communications Standards Association）：中国通信标准化协会

DAMA车轮图

DAMA车轮图是由数据管理协会提出的，用于描述和指导数据资产管理的最佳实践模型，一共11个职能域。它是一个框架，用于展示数据管理的各个方面。车轮图的中心是数据治理，表明数据治理是所有数据管理活动的核心。围绕数据治理的是一系列数据管理领域，包括元数据、数据质量、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作性、文档和内容管理、参考和主数据、数据仓库和商业智能。

围绕数据治理为核心

DMM成熟度模型

DMM（Data Management Maturity）数据管理成熟度模型是由CMMI研究所制定的，用于帮助组织评估和改进其数据管理实践的成熟度。DMM模型包含六个关键的职能域，每个职能域都包含一系列的过程区域，这些过程区域定义了实现数据管理成熟度所需的具体实践和活动：

• 数据治理：确保数据资产得到适当管理的一系列流程和责任，涉及制定和执行数据政策、程序、标准和规则等；
• 数据管理战略：制定一个全面的数据管理战略，该战略与组织的业务目标紧密对齐，优先考虑数据相关的业务需求；
• 数据质量：确保组织的数据是准确、完整、可信和适用于业务使用的，能够监控数据活动的质量；
• 数据操作：指日常的数据管理活动，包括数据的存储、备份、恢复、处理和维护，用于数据生命周期管理；
• 支持过程：确保数据管理活动得到适当的支持和资源，例如，数据管理规划、项目管理、资源管理；
• 平台与架构：为数据管理提供技术支持的基础设施，包括数据平台、数据仓库、数据库等

职能域

DMM模型的成熟度级别主要分为：

• 可执行级别（Performed）：组织的数据管理实践是被动的、非正式的、不连贯的，以数据孤岛形式存储；
• 管理级别（Managed）：组织已经开始建立数据管理的标准流程，但这些流程可能还不是完全一致或完全实施的；
• 已定义级别（Defined）：组织已经开发并维护了一套标准的数据管理流程，并且这些流程被全面实施；
• 量化管理级别（Measured）：在这个级别，组织使用量化的方法来控制和改进数据管理流程的效果；
• 优化级别（Optimized）：最高级别的组织不断优化其数据管理流程，以实现持续改进和适应新的业务目标和技术挑战；

成熟度级别

CCSA管理架构

CCSA TC601 数据资产管理体系架构如图所示，主要包括表格8个职能域：

• 数据标准管理：为数据标准的制定和实施的一系列活动，数据标准指保障数据的内外部使用和交换的一致性和准确性的规范性约束，通常可分为基础类数据标准和指标类数据标准，例如元数据标准是基础类标准
• 数据模型管理：设计企业数据模型，并在信息系统建设和维护过程中，严格按照数据模型管理制度，数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。具体内容包括三方面：数据结构、数据操作和数据约束
• 元数据管理：数据资产管理的重要基础，是为获得高质量的、整合的元数据而进行的规划、实施与控制行为
• 主数据管理：运用规则、应用和技术，用以协调和管理与企业的核心业务实体相关的系统记录数据
• 数据质量管理：运用相关技术来衡量、提高和确保数据质量的规划、实施与控制等一系列活动
• 数据安全管理：对数据设定安全等级，按照监督要求，通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类
• 数据价值管理：对数据内在价值的度量，可以从数据成本和数据应用价值两方面来开展
• 数据共享管理：开展数据共享和交换，实现数据内外部价值的一系列活动

CCSA数据资产管理的组织架构以及角色职责，实现数据认责机制，保证数据资产管理各环节的工作有效落地，通过数据角色职责开展数据认责相关工作。其中数据角色包括：

• 数据决策者：负责领导数据资产管理工作，管理重大工作内容和方向
• 数据管理者：负责牵头制定资产管理的政策、标准、规则、流程、协调冲突等，监督落地情况
• 数据提供者：配合指定相关数据标准、制度和规则；按标准要求提供相关数据规范，是数据质量的主要责任者
• 数据开发者：负责数据开发，执行数据标准和数据质量内容，负责从技术角度解决数据质量问题
• 数据消费者：数据资产管理平台的使用者，负责反馈数据效果，是数据资产管理的需求发起人

元数据标准

MOF元模型标准

MOF元模型标准指的是“元对象设施”（Meta-Object Facility，简称MOF）标准，由对象管理组织（Object Management Group，简称OMG）制定。作为模型的基础描述规范，可以描述不同类型的模型标准，为不同类型的模型管理建立基础。

• M0层：实际数据层，数据库中存储的具体信息、对象
• M1层：模型层，对应元模型实例，即元数据，对M0层数据的结构化描述，例如具体的表定义
• M2层：元模型，如CWM模型，定义了M1层模型的结构和语义，例如定义元数据的类别：库、表、字段
• M3层：元元模型，也是MOF自身所在的层次，定义了M2层元模型的结构和语义。提供了构建元模型的语言和工具，例如包、类等

MOF模型

MOF对应的示例说明：

元模型标准

跳转

CWM公共仓库元模型

CWM（Common Warehouse MetaModel）公共仓库元模型，是OMG定义的数据仓库和业务分析领域元数据交换开放式行业标准，在数据分析领域为元数据定义公共的元模型和基于 XML 的元数据交换。帮助数据仓库平台和数据仓库元数据存储库之间轻松实现数据仓库和业务分析元数据交换。

对象模型（ObjectModel）提供了在所有其他CWM包中创建和描述元模型类的基本构造。对象模型是UML的一个子集，它只包括创建和描述CWM所需的那些特性。定义只包含CWM所需的东西的UML子集允许CWM利用UML的概念和建模能力，而不需要用UML的全部能力。CWM 模型的目的是最大限度的重用对象模型（Object Model，UML 的一个子集），并在可能的地方共享通用模型结构。

数据治理框架

数据治理框架的核心在于：定义最优路径挖掘数据价值，治理思路的借鉴和参考。常用的数据治理框架主要包括三类：DAMA数据治理、DGI数据治理、IBM数据治理。

DAMA数据治理

数据治理作为数据管理的顶层设计，指导和统筹整体的数据管理活动，是数据资产管理行使权力和控制的活动集合。该框架提供数据管理理论和分层实现。

DAMA数据管理知识体系指南

DGI数据治理

DGI数据治理框架是由DGI(数据治理研究所）提出的数据治理模型。旨在为组织提供一个结构化的方法来设计和实施数据治理计划，确保数据管理活动能够支持组织的业务目标。该框架偏向实践操作，定义数据数据治理流程，涵盖数据治理why-what-who-when-how 经典问题。

• WHY：组件1、组件2，定义数据治理的愿景，可量化目标等
• WHAT：组件3、组件4、组件5、组件6，确定数据规则、决策权、职责、控制权，确保数据合规使用
• WHO：组件7、组件8、组件9 确定相关的组织架构与各利益相关者
• WHEN：组件10，明确数据治理的成熟度级别
• HOW：组件10，包含数据治理全生命周期过程中的重要活动执行

DGI数据治理框架

IBM数据治理

IBM数据治理提供具体数据治理的14个实施步骤，并分别进行测量考核，保证在数据治理过程中可度量、可控制。这些步骤不一定是线性的，组织可能需要根据自身的具体情况和需求来调整步骤的顺序和重点。关键在于确保数据治理活动能够支持组织的业务目标，同时满足数据质量、合规性和安全性的要求。通过这个框架，组织可以更有效地管理其数据资产，从而提高运营效率、降低风险并增强决策能力。

IBM数据治理框架

总结

数据资产管理是指对组织内部的数据进行识别、分类、管理和优化的过程，以确保数据作为一种重要的战略资产得到有效利用和保护。数据资产管理具备完善的框架体系和标准定义，本文分别从背景介绍、体系介绍、元数据标准、治理框架 四部分进行说明。数据资产管理的核心是数据治理，围绕数据治理展开各职能域的数据管理工作。

我正在参与2024腾讯技术创作特训营最新征文，快来和我瓜分大奖！