数据工程：从数据到价值

随着企业数字化转型的不断开展，企业对数据越来越重视、对数据的诉求越来越丰富。

尽管数字化转型对于市场来说并不是一个新鲜事物，从技术视角来看，人工智能与大数据相关技术仍处于创新阶段，各行业正在寻找和探索价值场景与新兴技术融合的平衡点，希望在新兴技术的加持下能够在激烈的竞争中占据有利位置。

对于企业中需要直接面对或完成数据工作的负责人来说，需要有一套切实可行的方式方法来确保数据 工作能够保质保量的顺利开展、保障企业在数据领域的投入能够有价值产出。这样一套行之有效的方式方法我 们称为“数据工程”，而该体系的落地过程称为“数据工程化”。

本白皮书旨在讨论如何从工程化的角度加速数据到价值的转化过程、为企业带来更多的价值，帮助企业在数字化转型过程中应对来自业务、外部市场、内部数据能力提升等一系列问题。

数据工程价值观及原则

数据工程来源于软件工程，数据工程包含了需求、设计、构建、测试、维护演进等阶段，涉及项目管理、开发过程管理、工程工具与方法、构建管理、质量管理，是一套为了应对规模化生产和使用数据、为业务提供数据支撑，最终产生价值的体系。

同时定义了在落地实施过程中如何确保需求准确性、设计灵活性、开发便捷性、维护低成本性、架构可修改性等保障性能、质量的原则。

图: 数据工程价值观及原则

三步走战略

在面对业务协同性不够、业务决策路径不清晰、组织架构可能导致的部门墙等诸多问题上，企业应当汇聚多业态、多链路中所涉及的不同业务数据、打通全产业链、构建业务生态，打造以数据为中心的价值创新产品，通过数据去产生新洞见、发现新业务、打造新产品、验证新想法，从而驱动业务的快速迭代。

在此我们推荐三步走战略：数据愿景对齐、数据工程落地实施、数据持续运营。三步自顶向下，先确定总体目标，再进行目标拆解，由目标制定具体措施，再到具体工程实践，最后以持续运营手段，完成数据从业务中来，再到业务中去的完整价值闭环。

图: 数据工程落地三步走战略

面对企业不同的现状和实际情况，数据工程落地三步走战略在实际开展的时候需要结合企业情况来进行调整，并非一个绝对答案，在数据工程落地时需要从总体考虑数据治理工作要如何开展。从另一个角度来看，数据工程落地是一个持续优化迭代的过程，因此沉淀、复用、持续运营、能力建设都是数据工程落地过程中不可或缺的一部分。

图: 数据工程能力复用与保障

图: 数据持续运营

总    结

数据工程实现与落地过程中涉及到方方面面的工作，从确认需求到后期运营；从质量管控到安全保障；从设计到实施等多个维度。意味着数据工程落地过程中需要有跨部门的合作；企业的业务与数据融合后的流程管控；对技术能力的更高的要求。这也对企业落地数据工程带来更大的挑战，挑战来源于数据工程落地的时候并非单纯的技术问题，而是技术、数据、业务相融合后的结合体。

正如本白皮书引言部分提到的“数据已经成为继土地、劳动、资本、技术之后的第五大生产要素”，任何一次科技革命都会为企业、社会甚至是全球带来冲击，我们现在正处于技术革新的过程中。

这既是挑战也是利好，挑战在于我们需要重新审视企业未来的发展方向、积累和沉淀新的技术能力并与实际的业务相融合，企业需要着手开始自己的数据能力布局 ; 利好的是企业战略布局和转型的主动权在自己的手里。

点击底部阅读原文，获取更多精彩内容！

今日好文推荐

华为投入数千人实现自主可控ERP；SpaceX星舰爆炸了，马斯克：祝贺！谷歌合并两大人工智能部门，加速力战ChatGPT｜Q资讯

马斯克将起诉微软，称其使用 Twitter 数据“非法”训练GPT，吃瓜网友：事情变得更有趣了！

谷歌或被抛弃！ChatGPT 引爆手机市场新一轮洗牌：Android 手机销冠三星30亿美元大单欲改投 Bing

中国开源项目贡献者已超过10万！《中国开源生态图谱 2023》发布