企业数据中台建设和发展的思考

一、 数据中台产生背景、定义和特征 1.数据中台产生背景 2010年后，随着移动互联网以及物联网的快速发展，数据爆炸式增长，各种数据服务需求不断涌现。但在传统IT建设方式下，企业的各种信息系统和数据库大多是独立采购或者独立建设的，新旧IT系统中沉淀的数据之间难以打通，导致企业内部形成一个个“数据孤岛”“数据烟囱”，分散割裂且不易形成可共享的数据服务，无法满足企业降本增效、高质量发展的诉求，因而成为企业在数字化转型过程中的一个最大痛点。在企业对数据服务和共享日益迫切的需求下，以构建数据资产体系、释放数据资产价值为核心的数据中台被推到了广阔的舞台中台，因此数据中台是数字化转型过程自然演进的结果。 2 数据中台的定义和特征 在企业IT架构日益复杂的今天，如何快速整合数据资产、发掘数据的价值进而形成多样化的数据服务能力，为企业生产管理、精细化运营、高效决策提供支撑，我们亟需一套数据管理和服务机制。数据中台就是一套可持续“让企业的数据用起来”的机制，是依据企业特有的业务模式和组织架构，通过有形的产品和方法论的支撑，构建一套持续不断把数据变成资产并服务于业务、运营、管理决策的机制。数据中台它以多样化的数据服务能力以及统一的数据标准、流程规范，加速了业务数据化、数据资产化、资产服务化的进程，帮助企业实现数据互联互通、资源协调和数据管理、数据集成和共享。

数据中台的特征：全、统、通，如下图1所示。

全域数据是指汇集盘点企业所有数据资源，并将所有数据资源进行完整呈现，全域数据集成的目标是提供用户一站式的数据同步和数据处理的能力，允许用户在数据集成界面上通过简单高效的一站式操作完成数据开发和运维工作，且能有效降低运行成本，全域数据是构建数据应用的基础；统一规范则是让数据都遵循相同的标准，并且提供统一开放的数据服务接口，让更多的前台应用共享数据中台提供的标准化数据能力（比如：数据API，数据标签，数据监控等）；联接打通就是为了融合整个企业的全部数据，打通孤岛数据，消除数据标准和口径不一致的问题。通过联接打通，融合企业不同的技术架构、IT系统和数据，既保护现有投资，助力企业对历史海量数据的价值挖掘，同时把先进的数字技术与企业敏捷运营、精益管理融合起来，降低企业数据管理和运营的复杂度，实现面向未来的共同价值创造。 二、 数据中台的主要价值 在以客户为中心的时代，数据中台对数字化转型具有重要作用，在客户洞察、商业创新、效能提升等方面为企业带来巨大价值。具体来说，数据中台的主要价值包含以下三个层面： 1．以客户为中心，用洞察驱动企业稳健行动 在以客户为中心的时代，客户的观念和行为正在从根本上改变企业的经营方式以及企业与客户的互动方式。数据中台建设的核心目标就是以客户为中心的持续规模化创新，而数据中台的出现，将会极大提升企业数据的应用能力，将海量数据转化为高质量数据资产，为企业提供更深层的客户洞察，从而为客户提供更具个性化和智能化的产品和服务。 2、以数据为基础，快速构建服务，加快企业商业创新。企业里存在海量的数据，只有依托算法和数据分析，才能对海量的数据产生精准洞察，应用到生产业务和运营中去，从而加快商业的创新。此外，数据中台提供标准的数据访问能力，简化集成复杂性、促进互操作性，在快速构建数据服务能力、加快商业创新、提升业务适配等方面，数据中台也发挥着重要的作用。 3、以效能为目标，全要素数据化运营，实现企业数据资产的持续增值。数据中台的目标是不断满足前端迅速变化的用户需求，通过数据化运营、持续交付、效能提升，更好支持业务发展和创新，驱动企业的数字化转型。面对纷繁复杂而又分散割裂的海量数据，数据中台不仅可以帮助企业聚合内外部数据，盘活全量数据，还可以快速构建各种各样的数据服务，打造持续增值的数据资产，实现以数据来驱动决策和运营，不断深化企业数字化转型。 三、 数据中台的整体架构 数据中台的整体架构如下图2所示，数据中台是位于数据底座云平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层云平台的技术复杂性，降低对技术人才的需求，让数据的使用成本更低。通过数据中台的数据汇聚、数据开发，建立企业数据资产，形成数据体系。通过数据资产管理、数据服务管理把数据资产转变为不同的数据服务能力，服务于企业各种业务。数据安全管理、数据运营体系保障数据中台可以长期健康、持续运转。数据中台通过各种数据应用衔接内外用户，为它们提供快速决策响应、精细化运营及服务支撑等，让数据业务化，更好地驱动业务发展和创新。

1）数据底座是数据中台诞生的重要基础。数字化转型是利用数字技术，把企业各环节要素数字化，推动要 素资源配置优化、业务流程生产方式重组变革，从而提高企业经济效率的过程，其中数字基础设施是生产工具，数据是生产资料。以云计算为核心，融合人工智能、大数据等技术，创新应用开发和部署工具，可加速数据的流通、汇集、处理和价值挖掘，有效提升企业应用的生产率。如今企业上云已是大趋势，但由于业务的纷繁复杂及多样化需求，企业往往有私有云、公有云、混合云等不同的云环境，多云管理应运而生。在多云管理的基础上，不仅可以汇集企业内外部的数据资源，还可以与企业内已有的业务流程、运营管理、安全管控等系统集成，通过统一标准的数据服务及资源调配，实现最优、最安全配置和高效运营，提高性能和可用性3。 2）数据中台是让数据持续用起来，通过各种工具、方法和运行机制，把数据转变为一种服务能力，服务于企业业务。数据汇聚是数据中台各种数据资源接入的入口。数据中台本身并不产生任何数据，所有数据来自于业务系统、日志、文件、网络等，这些数据分散在不同的网络环境和存储平台中，难以利用，很难产生业务价值。数据汇聚是数据中台必须提供的核心工具，把各种异构数据源的数据方便地采集到数据中台中进行集中存储，为后续的加工建模做准备；数据开发则是通过一整套数据开发和建模工具，提供不同的模型和服务功能，快速把数据加工成对业务有价值的形式，提供给业务使用；数据体系是数据中台的血肉，有了数据汇聚、数据开发模块，中台已经具备传统数据仓库的基本能力，就可以做数据的汇聚以及各种数据开发，建立企业的数据体系了。大数据时代，数据量大，增长快，业务对数据的依赖也会越来越高，必须考虑数据的一致性和可复用性，垂直的、烟囱式的数据和数据服务的建设方式注定不能长久存在。不同的企业因业务不同导致数据不同，数据体系建设的内容也不同，但大体相似，一般按照贴源数据、统一数仓、标签数据、应用数据的标准来统一建设；数据资产管理通过数据体系建立起来的数据资产较为偏技术，业务人员比较难理解。资产管理最好是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），数据资产管理以一种更直观的方式展现企业的数据资产，提升企业的数据意识；数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。大部分的数据服务都可以通过中台的能力快速定制，比如服务的管控、鉴权、计量、调度等功能；运营体系和安全管理是数据中台得以健康、安全、持续运转的基础。 3）数据中台的重要聚焦点在企业的数据应用场景上。数据应用场景既是数据中台的启动点，又是实现创新的基石。不同行业的不同企业在不同的发展阶段，其数据应用的需求也是不一样的，具体应用场景的优先级也是不同的，而且不同阶段支撑的场景数据也需要不断的迭代。数据中台通过数据采集、开发建模、数据资产交易、数据服务、数据运营等场景与企业内外用户发生各种交互，实现企业数据中台服务一体化，驱动业务精细化运营的能力建设，持续夯实数据基础，形成数据与业务正向自循环促进的关系，不仅全面推动企业内部蓬勃的业务创新，也可以更好地对外服务，带动整个企业的数字化转型。 四、 数据中台建设的挑战与应对方法 数据中台建设面临的挑战包括：1）梳理业务场景：搞清楚数据中台如何对业务产生价值。2）建设数据中台的优先级策略：需求可能大而全，但我们不能直接建大而全的数据中台，应该根据业务重要性来排需求的优先级。3）数据治理问题：和业务独立开的数据治理少有成功的，大的数据标准要有（数据资产目录），通过数据资产目录将共有的纬度、共性的业务模型提炼出来，在此基础之上数据治理需要跟业务场景紧密结合。 数据中台的建设面临很多挑战，道阻且长不是一蹴而就的，在这里需要把握以下应对方法： （1）需要一把手的重视和支持。一把手首先需要认识到数据中台的价值，数据是业务重要的支撑，是重要的推动力，更可以引领业务的发展。另外就是数据中台的建设一定要有战略规划，更需要有相应的组织、制度、流程、资源的保障，因此只有获得企业一把手的支持，才能推动数据中台的持续建设。 （2）需要数据生态建设思维。数据生态体系的构建能够为企业的管理、人才、销售与伙伴，提供更好的竞争环境和，资源配置效率，实现可持续发展的战略转折。并通过开放式数据生态合作，创新连通上下游产业链，保持存量市场，扩大增量市场； （3）需要建立数据湖的概念，推动数据和业务、技术的融合，实现跨地域、跨系统、跨层级、跨部门、跨业务的协同管理和服务。 （4）重视数据治理。数据治理是数据中台建设中的关键一环。数据治理不仅要解决数据全不全、准不准、好不好用的问题，更要让业务团队知道公司的数据能力和数据资产标准，让大家达成共建、共享、标准化的一致理念，确保数据流转和应用是基于同样的标准和基础，真正把数据用好、用准、用透，让数据持续为业务赋能，助力企业的数字化转型。 五、数据中台落地六步法 数据中台技术集成度高，建设难点多，存在一定的建设风险，如何成功落地需要从以下六个方面着力：（1）建立清晰的数据战略是数据中台建设的第一步（2）数据技术和平台能力（包括人工智能）是规模化应用数据的基础（3）找到有价值的业务场景和用例，将数据应用起来是关键（4）建立企业的数据意识和认知，打造数据文化是土壤（5）让数据团队和业务紧密结合，价值驱动（6）持续运营，快速迭代，达到持续智能。 数据中台可以帮助企业整合内外部数据资源与平台能力，打通企业数据，提供以前单个部门或者单个业务单元无法提供的数据服务能力，以实现数据的更大价值变现。

结束语 在以客户为中心的时代，数据中台对数字化转型具有重要作用，以数据中台为基础的数据系统将位于企业应用的核心，在企业降本增效、精细化经营等方面为企业带来巨大收益。数据中台的未来的应用趋势是向中小型企业赋能，降低企业的建设成本，发挥数据驱动业务创新的价值，带动整个产业的数字化转型。