Data Mesh助力规模化企业数据应用

今天的文章从一个企业应用Data Mesh的故事开始：

Daff是一家全球音乐流媒体公司，公司的愿景是：“在生活中的每一刻， 以身临其境的艺术体验， 连接全球的艺术家和听众”。在它的使命背后，是公司对数据、分析和人工智能寄予的厚望。

时间从三年前开始。当时Daff的数据收集、处理、分析和试验都由有限的数据团队成员承载，他们承受着巨大的压力。业务团队不信任数据，经由数据团队处理的数据经常出现各种各种显而易见的问题，比如，报表中不合理的数据，不知道如何使用的数据集。数据团队需要花费大量的时间和业务系统开发人员沟通数据的细节，理解数据，进而才能进行数据处理和加工，导致对于业务的响应不够迅速。

企业的数据目录基本成为摆设，数据消费方很难直接通过数据目录了解数据如何使用，不得不回归到线下渠道，然而不同团队往往有自己的事情，很难及时响应消费方的诉求。获取正确数据的准备时间和摩擦导致很难进行新的数据试验。领域本身对于维护数据的易于获得、可靠和可用没有任何责任和兴趣。

于是，Daff采用了Data Mesh作为其数据策略、架构和运营模型的支柱，通过持续的改进，它扩大了公司使用数据和机器学习进行实验、学习和调整的规模，加快了其速度。

首先，建立了数据好奇心和数据实验的企业文化。这是一种痴迷于进行实验、观察结果、分析数据、理解数据、从数据中学习并适应的文化。这种文化建立在一个技术基础之上，该基础可以让每个人都敢于尝试：尝试应用机器学习的大实验，或者只是调整用户界面功能的小实验。

其次，对数据按照领域进行了划分，并于业务领域保持一致。播放器领域专注于移动设备上使用的核心音乐播放器，合作伙伴领域专注于与商业伙伴合作。播放列表领域研究生成播放列表的高级方法。每个领域都结合了业务能力，业务系统开发和数据开发。

最后，每个领域及其协作的技术团队都对有意义、值得信赖和安全的数据负责，每个人都期望在整个组织中按需访问数据是一种常态。他们都知道自己在实现这一目标中的作用，都对数据负责并参与其中。

图：Daff建立的Data Mesh协作模式

这个故事来自《Data Mesh 权威指南》，这是第一本全面、完整、详细的介绍了Data Mesh各个方面的书籍，可以对数据从业者带来全新的启发和思考。

故事中的Daff是很多企业都希望的状态——建立真正的数据驱动的企业。要到达这个状态，还需要企业管理者和数据团队能够思考企业数据应用面临的困境，引入新的数据管理方法，对数据策略、架构和运营模型进行演进式调整。

Data Mesh是一种解决企业级数据能力规模化问题的新方法，它可以让系统开发和数据开发更好地协作，加速企业数据产生价值的过程，实现企业数据变现。Data Mesh融入了Thoughtworks在微服务、产品思维、精益思想方面的理念，把它们应用在了企业数据领域。

图：Data Mesh的四个基本原则

在过去几年服务于不同行业和发展阶段企业的过程中，Thoughtworks发现，企业一方面困与如何让数据产生真正的价值，另一方面，也不免会对市场上时不时出现的新的热词感到兴奋。比如近几年流行的数据平台、数据中台、各种One系列等等，包括这本书所介绍的Data Mesh。

Data Mesh本质上是要解决规模化数据创新的问题，如何在一个需要数据驱动的组织中，激活数据创新的动力，减少使用数据的摩擦力。所以，这个定义中就会存在很多假设：

• 你的企业的业务需要数据驱动吗？
• 需要很多人参与到数据的创新中吗？
• 现在对于数据使用的瓶颈是什么？
• …

这些问题都需要详细诊断和深入思考。但是，亦如当年微服务对于开发团队的影响，从来不是一步就会变成微服务的理想状态，大家也都经历了在代码拆分，数据库拆分，服务治理等不同层次的，迭代式的改进。Data Mesh也一样，我们很难一开始就完全按照Data Mesh的四个原则建设这样一个平台，对数据团队进行全面的改革，我们需要的是能够进行演进式变化，增强组织的韧性，而不是进行一场豪赌，成王败寇。

其实，每个企业都有自己的特色，每个行业也都会有一些总结出来的最佳实践。我们需要做的不是把这些方法和实践，照搬到企业中来，更应该做的是学习和理解这些方法和实践，理解它们出现的背景和要解决的问题，汲取其中能够解决企业现在问题的部分，为自己所用。通过不断的演进、发展自己企业的组织和技术能力来完成企业的愿景。Data Mesh在国内企业中的落地也需要基于企业的实际问题。

因此，企业在进行Data Mesh落地的时候也会有所侧重，或者加快基础设施搭建的过程，或者对数据进行领域的划分，或者选取优先级较高的数据产品进行落地，同时构建Data Mesh的数据产品平台。通过Data Mesh的一些理念逐步去影响、改进现有的数据平台和团队合作模式。

道长且艰，让我们一起砥砺前行，不忘初心。我们也会有后续文章介绍Data Mesh的实施路径，敬请关注。

更多的Data Mesh的内容请点击下方阅读原文访问我们的网站，了解更多案例和解决方案。