Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >数据驱动管理:WHY、WHAT、WHO、HOW

数据驱动管理:WHY、WHAT、WHO、HOW

作者头像
大数据杂货铺
发布于 2023-11-13 13:07:53
发布于 2023-11-13 13:07:53
7240
举报
文章被收录于专栏:大数据杂货铺大数据杂货铺

虽然许多企业渴望成为数据驱动型组织,但其中很大一部分往往只关注技术方面,主要将其视为技术资产。因此,他们的投资和举措通常围绕以技术驱动的努力。然而必须认识到技术是达到目的的手段。

四个基本问题构成您的数据驱动雄心:WHY?WHO?HOW?WHAT?

我认为,在投入详细的技术实施计划之前解决 4 个基本问题至关重要:

  • 为什么我们应该在组织内利用数据?换句话说,数据能为我们的组织带来什么好处?
  • 谁是参与数据处理的主要利益相关者?该群体涵盖广泛,包括业务用户、执行管理层、客户以及数据工程师和数据科学家等技术角色。
  • 可以采取什么系统方法将原始数据转化为有形价值?此过程涉及从数据中获取价值的分步蓝图。
  • 我们如何才能有效地实现数据驱动的愿望?这涉及技术和数据管理实践的集成,使数据视角与总体业务以及组织目标保持一致。

在本文中,我将深入探讨这些关键问题,并探讨明确定义的数据策略如何在确保这些问题的答案与公司的战略目标以及项目无缝衔接方面发挥重要作用。

WHY

我始终主张揭示数据驱动管理雄心背后的潜在动机。是什么推动了数据工作的价值?解决 WHY 问题有助于衡量即将到来的数据项目的潜在回报。明确数据目标将为众多后续决策提供宝贵的指导。

制定用例场景并将其与潜在的价值驱动因素联系起来,可以提供回答该问题所需的见解。价值驱动因素的灵感来源可以来自贝恩公司的 B2B 和 B2C 价值金字塔

用于说明价值驱动因素的常用模型是贝恩公司的 B2B 和 B2C 价值金字塔。这个框架中,数据项目经常利用的几个价值驱动因素包括:

  • 透明度 —— 利用仪表板提供企业指标透明、客观的视图。例如,精心制作的营销报告可以使关键活动指标对营销人员和利益相关者透明。
  • 降低成本 —— 报告工具可以对流程绩效进行深入分析,有助于识别能够实现成本降低的领域。
  • 集成 —— 数据项目可以集成不同来源的数据,产生新的观点和见解。这种集成可以检测异常并提供端到端流程的见解。
  • 可用性 —— 提示驱动的人工智能工具(或聊天机器人界面)几乎总是可以访问,让您可以全天候请求信息。
  • 节省时间 —— 人工智能驱动的应用程序通常会自动执行大量重复性任务。例如,可以自动将服务台票分配给适当的员工,或在简洁的仪表板中总结社交媒体情绪。
  • 可持续性——数据驱动工具可以根据内部和外部数据源阐明 ESG 相关指标。这有助于组织推进其可持续发展目标。

我想使用具体的用例场景来回答 WHY 问题。具体描述您想要使用数据的场景以及相应的值是什么。这将有助于稍后识别 WHO 将在哪个过程中使用数据。

WHO

回答 WHO 的问题有助于评估您当前和设想的组织的文化背景。仅靠数据无法创造价值;需要个人带领组织获得数据洞察并根据数据驱动的结果采取行动。了解潜在的数据用户,对于在工具、基础设施和构建数据驱动文化方面做出明智的选择至关重要。

回答 WHO 的问题有助于评估您当前和设想的组织的 DNA

以下是一些文化特征的示例,这些特征将影响后面 WHAT 和 HOW 答案:

  • 软件打造 DNA —— 公司是否有构建和维护自己软件的传统?是否打算继续投资开发?在这种情况下,与内部数据工程团队合作可能是一个谨慎的选择。
  • IT 外包文化 —— 公司是否习惯外包 IT 解决方案?如果是这样,建议考虑购买方法,而不是开发内部解决方案。
  • 主动性的空间 —— 组织是否提倡自下而上的员工主动性?如果是,那么培养一种自助数据文化,让员工可以产生自己的见解将会是有益的。
  • 专业领域知识 —— 组织是否拥有在其他地方很难找到的独特领域知识?在这种情况下,识别这些领域并投资专门的、定制的数据产品是值得的。
  • 专业技术知识 —— 组织中是否已经具备与数据相关主题(例如云、数据库或数据管道)相关的专业技术知识?组织在此类技术领域的成熟度对于选择如何推出正确的数据平台至关重要。
  • 分析基础 —— 电子表格分析是否已经成为您组织决策的常识?那么,让这些用户更进一步并为他们提供更成熟的工具来进行更好、更深入的分析将是一个好主意。

WHAT

从广义上讲,WHAT 问题可以通过遵循 DIKW 金字塔中概述的基本步骤来解决,其中涉及将原始数据提炼为智慧的过程,经历信息和知识的阶段。

价值主要是通过首先将原始数据转化为数据产品来实现的。最终用户可以通过数据工具访问这些产品

我更喜欢将这些通用阶段分解为三个略有不同的部分:

  • 数据产品:对于 WHAT 阶段,必须确定促进 WHY 阶段中用例所需的特定数据产品。这些数据产品被视为可重用的数据集,例如包含有关订单、发票或客户信息的数据集。
  • 数据工具:确定指定数据个人(如 WHO 阶段中确定的)将使用哪些工具是 WHAT 阶段的一个关键方面。评估您的用例场景是否需要专门的统计工具,或者是否可以将数据驱动的算法无缝集成到现有的数字应用程序中。数据可用性的概念与数据工具的选择密切相关。
  • 原始数据:查明构建已识别数据产品所需的原始数据也很重要。原始数据和数据产品的识别通常涉及迭代过程,原始数据的可用性激发新数据产品的创建,反之亦然。

现在您已经全面了解了输入(原始数据)和输出(数据产品),可以继续确定将原始数据转换为这些产品所需的必要数据转换(技术上称为“管道”)。在此阶段,捕获与这些管道相关的功能需求变得特别重要。示例功能要求是:

  • 数据新鲜度:确定数据产品所需的新鲜度级别。您需要实时信息,还是每小时更新就足够了?
  • 数据量和速度:评估需要转换和集成的数据量以及该数据量扩展的速度。
  • 数据多样性:识别需要转换的各种原始数据源。考虑这些源是否主要由关系数据库系统 (RDBMS) 中的结构化数据组成,或者是否还包含文档、视频和图像等非结构化数据类型。

HOW

现在您已经清楚地回答了 WHY、WHAT 和 WHO 问题,下一步就是解决 HOW。在此阶段,您将确定最佳的技术架构,并根据这些新发现的数据驱动功能制定有效管理组织的策略。

在 HOW 阶段,您将确定最佳的技术架构,并根据这些新发现的数据驱动功能制定有效管理组织的策略

技术

发现与目标相符并与组织的 WHY、WHAT 和 WHO 相协调的技术产品。例如,如果您缺乏在组织内内部化开发能力的策略,那么选择以自定义开发为中心的数据方法是不切实际的。

在建立数据平台时,必须仔细考虑一系列技术选择。虽然此列表并不详尽,但强调了一些关键的权衡:

  • 购买与构建:必须清楚地界定数据平台的哪些组件应该在内部构建,哪些组件更适合购买或租赁。针对已解决的问题重新发明解决方案通常不会产生什么价值,而在平台内创建独特的销售主张 (USP) 则可能非常有益。当然,服务和工具的成本和性能影响在这些决策中发挥着重要作用。
  • 数据转换类型:考虑谁需要集成和转换数据的能力。如果您的目标用户是处理大量数据的数据工程师,那么使用 SparkPython 或 Scala 等技术进行管道是一个明智的选择。对于不太复杂的场景,低代码解决方案或 SQL 可能更合适。所需的数据新鲜度也会影响此决策,因为某些管道技术非常适合实时场景,而其他技术则不然。
  • 计算引擎:数据的数量和性质以及新鲜度要求决定了计算引擎的选择。对小型数据集使用广泛的大数据计算能力通常在成本和性能方面效率低下。此外,在将非结构化数据加载到关系数据库管理系统 (RDBMS) 之前对其进行转换通常被认为是一种反模式。在这种情况下,支持 Lakehouse 模式的计算架构可能更合适。
  • 云还是本地:与购买与构建决策类似,评估数据平台的哪些部分适合云、哪些部分不适合至关重要。要考虑的因素包括您组织的云愿景和成熟度。此外,分析与云服务相关的未来运营支出 (opex) 与本地解决方案的传统资本支出 (capex)。
  • 集成:促进数据在组织内的正确时间无缝流动到正确的位置对于创造价值至关重要。因此,定义数据集成模式是关键的一步。常见选项包括通过 API 进行数据访问、数据库连接或在流管道中创建数据主题。

技术决策通过数据平台的实现付诸实施,从数据中提取价值。该数据平台由多种技术产品组成:(云)服务、现成软件产品和定制技术解决方案。由此产生的软件堆栈应该满足实现回答 WHY 时概述的目标所需的标准。

数据管理

建立强大的技术基础是启动组织数据计划的关键一步。有效的数据管理是确保全面数据实践持续成功的关键。在雄心勃勃的数据驱动型组织的框架内,几个关键的数据管理因素发挥着作用:

  • 角色和职责:数据管理的一个关键方面涉及创建一个清晰的模型,概述数据处理的角色和职责。该框架回答了一个基本问题:谁对特定数据负责?一旦定义,该结构就会确定解决有关特定数据集的查询或解决数据质量问题的首选人员。然而,数据所有者并不是孤立运作的。例如,可以构建 RACI 模型来补充和履行角色和职责。
  • 数据质量:任何数据驱动产品或后续技术利用的有效性都取决于数据的基础质量。基本的数据管理实践围绕着对数据质量的持续监控。鼓励数据所有者采取旨在提高数据质量的措施。
  • 数据发现:无论数据管理是分布式的还是集中式,每个数据管理团队都应该全面了解组织内可用的各种数据元素。采取措施以确保整个组织中的个人知道在哪里可以找到特定的数据集。
  • 支持数据流程:广泛处理数据通常涉及劳动密集型流程。这些流程包括数据访问管理(获得数据所有者的同意以访问特定数据集)、数据共享(与他人共享数据产品)以及记录数据安全级别。结构良好的数据管理实践可以制定策略来简化和优化这些支持数据流程。

虽然数据管理的主要目标不是技术驱动的,但工具可以显着加快数据管理实践的成熟。这些工具涵盖范围广泛,从用于可视化数据模型的数据目录到用于监控数据质量状态的数据质量工具,以及旨在促进各种数据处理的特定工具。尽管不同的供应商可能对这些工具的定位不同,但它们的基本概念很大程度上植根于元数据管理。

数据策略

我建议采用敏捷数据策略,因为期望 WHY、WHAT 、WHO 和 HOW 的答案在较长时间内保持不变,并且通常在数周或数月内发生变化是不现实的。虽然鼓励拥抱变革,但对所有动态要素保持系统的看法可能具有挑战性。这就是为什么我建议寻求一种方法,使 WHY、WHAT 、WHO 和 HOW 之间的联系变得切实可见。

计划板可以帮助将技术产品和数据管理计划(HOW)与最终的数据产品(WHAT)以及最终的价值贡献(WHY)联系起来。我还喜欢通过在板上标记各种卡片来跟踪 “WHO” 角色

我更喜欢的策略是利用一个简单但功能极其强大的“数字规划板”,具有三个垂直通道:

  • 如何:该通道重点关注技术产品,例如管道、计算资源、数据库和数据管理计划,以促进后续的“什么”和“为什么”。
  • 内容:该通道涉及包含实现用例场景所需数据的数据产品。
  • 原因:在此通道中,您可以确定用例所贡献的价值驱动因素。

此外,我建议在规划板最右侧的项目上标记相关的角色(WHO)。这种做法可确保交付的价值符合您组织的文化和 DNA。

通过从左到右绘制连接,您可以快速掌握价值驱动因素和支持计划之间的关系。这种战略方法有助于获得对变革性 HOW 项目的支持,这些项目最终将为 WHY 方面带来重大价值。

结论

在本文中,我证明了数据驱动管理超越了数据平台的纯粹技术实现。通过解决四个核心问题—— WHY、WHAT 、WHO 和 HOW , 我们可以了解技术实施和数据管理计划如何与组织更广泛的价值驱动因素保持一致。明确定义的数据策略在保持这种一致性并确保技术实施与组织 DNA 之间的文化和谐方面发挥着至关重要的作用。 原文作者:Janmeskens

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-11-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 大数据杂货铺 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
微服务权限终极解决方案,Spring Cloud Gateway + Oauth2 实现统一认证和鉴权!
https://github.com/macrozheng/springcloud-learning/tree/master/micro-oauth2
macrozheng
2020/07/14
25.1K1
微服务权限终极解决方案,Spring Cloud Gateway + Oauth2 实现统一认证和鉴权!
SpringCloud Gateway + Jwt + Oauth2 实现网关的鉴权操作
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
芋道源码
2022/08/29
3.7K0
SpringCloud Gateway + Jwt + Oauth2 实现网关的鉴权操作
开箱即用!看看人家的微服务权限解决方案,那叫一个优雅!
对比之前使用Spring Security的微服务权限解决方案,Sa-Token的解决方案更简单、更优雅。使用Security我们需要定义鉴权管理器、分别处理未认证和未授权的情况、还要自己定义认证和资源服务器配置,使用非常繁琐。而使用Sa-Token,只要在网关上配置过滤器实现认证和授权,然后调用API实现登录及权限分配即可。具体区别可以参考下图。
macrozheng
2021/09/22
2.2K1
开箱即用!看看人家的微服务权限解决方案,那叫一个优雅!
Spring Gateway、Sa-Token、Nacos 认证/鉴权方案,yyds!
之前进行鉴权、授权都要写一大堆代码。如果使用像Spring Security这样的框架,又要花好多时间学习,拿过来一用,好多配置项也不知道是干嘛用的,又不想了解。要是不用Spring Security,token的生成、校验、刷新,权限的验证分配,又全要自己写,想想都头大。
码猿技术专栏
2024/01/23
1.6K1
Spring Gateway、Sa-Token、Nacos 认证/鉴权方案,yyds!
Spring Cloud Gateway整合nacos实战(三)
Spring Cloud GateWay是Spring Cloud的⼀个全新项⽬,⽬标是取代Netflix Zuul,它基于Spring5.0+SpringBoot2.0+WebFlux(基于⾼性能的Reactor模式响应式通信框架Netty,异步⾮阻塞模型)等技术开发,性能⾼于Zuul,官⽅测试,GateWay是Zuul的1.6倍,旨在为微服务架构提供⼀种简单有效的统⼀的API路由管理⽅式。
Java技术债务
2022/08/09
2.1K0
Spring Cloud Gateway整合nacos实战(三)
Nacos + Spring Cloud Gateway动态路由配置
具体的Nacos怎么配置就不介绍了,可以参考阿里巴巴的官方介绍,这里通过windows直接本地启动开启单机模式,登录Nacos Console,创建dev的namespace,在dev下的默认分组下创建gateway-router的dataId
BUG弄潮儿
2021/06/25
7.2K0
Nacos + Spring Cloud Gateway动态路由配置
集成Spring Cloud Security和Spring Cloud Gateway
Spring Cloud Security提供了在分布式系统中使用OAuth2和JWT的支持。而Spring Cloud Gateway是一个基于Spring Framework 5,Spring Boot 2和Project Reactor的网关服务,它为微服务架构提供了一种简单而有效的方式来对外提供API。
堕落飞鸟
2023/04/14
3.7K0
Spring Cloud Security:Oauth2实现单点登录
单点登录(Single Sign On)指的是当有多个系统需要登录时,用户只需登录一个系统,就可以访问其他需要登录的系统而无需登录。
macrozheng
2019/11/15
3.2K0
SpringCloud-基于Oauth2的SSO单点登录原理解析与实现
单点登录(SSO)是一种身份验证过程,允许用户通过一次登录访问多个系统。本文将深入解析单点登录的原理,并详细介绍如何在Spring Cloud环境中实现单点登录。通过具体的架构图和代码示例,我们将展示SSO的工作机制和优势,帮助开发者更好地理解和应用这一技术。
Damon小智
2024/05/28
2.2K1
SpringCloud-基于Oauth2的SSO单点登录原理解析与实现
微服务权限
通过认证服务(oauth2-auth)进行统一认证,然后通过网关(oauth2-gateway)来统一校验认证和鉴权。采用Nacos作为注册中心,Gateway作为网关,使用nimbus-
花落花相惜
2021/12/07
7240
Spring Cloud Alibaba 项目搭建
**分别添加 RedisTokenStoreConfig.class 、OAuthConfig.class
ruochen
2021/11/25
5830
Spring Cloud Gateway微服务网关
网关为微服务架构的系统提供简单、有效且统一的API路由管理,作为系统的统一入口,提供内部服务的路由中转,给客户端提供统一的服务,可以实现一些和业务没有耦合的公用逻辑,主要功能包含认证、鉴权、路由转发、安全策略、防刷、流量控制、监控日志等。
张云飞Vir
2022/10/28
5430
Spring Cloud Gateway:构建强大的API网关
在微服务架构中,随着用户服务、订单服务、支付服务等多个服务的启动和运行,管理这些服务的请求、确保安全性以及在高负载下保持系统的稳定性变得尤为重要。API网关作为微服务架构中的关键组件,能够很好地解决这些问题。
公众号:码到三十五
2024/10/22
2070
Spring Cloud Gateway:构建强大的API网关
Spring Cloud Gateway 服务网关的部署与使用详细教程
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
芋道源码
2022/10/09
4.6K0
Spring Cloud Gateway 服务网关的部署与使用详细教程
Spring Cloud Security:Oauth2实现单点登录
单点登录(Single Sign On)指的是当有多个系统需要登录时,用户只需登录一个系统,就可以访问其他需要登录的系统而无需登录。
JAVA葵花宝典
2019/11/18
1.6K0
Spring Cloud Security:Oauth2实现单点登录
一个实例,轻松演示Spring Cloud集成Nacos实例
学习一个技术框架,最快速的手段就是将其集成到项目中,体验一下它的功能。在这个过程中,你还踩到很多坑。而排坑的过程,又是一次能力的提升。
程序新视界
2021/12/07
5460
Spring Cloud Alibaba Nacos+Gateway踩坑
Nacos 的使用倒是比较简单,但是由于用的Mac M1芯片的电脑,使用过程中踩坑在上一篇已经写过了 Mac M1芯片Nacos
赵哥窟
2022/05/13
7930
Spring Cloud Alibaba Nacos+Gateway踩坑
【微服务~Nacos】Nacos服务提供者和服务消费者
👀专栏介绍 【微服务~Nacos】 目前主要更新微服务,一起学习一起进步。 👀本期介绍 本期主要介绍微服务~Nacos 文章目录 搭建父项目 服务提供者Provider 搭建服务 创建服务 查看服务 注册异常 服务消费者Consumer 搭建服务 创建服务 查询服务 搭建父项目 项目名:nacos-parent-2.1 添加坐标 <parent> <groupId>org.springframework.cloud</groupId> <artifactId
陶然同学
2023/02/27
3480
【微服务~Nacos】Nacos服务提供者和服务消费者
Spring Security 授权详解
所有的微服务的请求都经过网关,网关从认证中心读取微服务的地址,将请求转发至微服务,注册中心采用Eureka。
ruochen
2021/12/16
2.7K0
Spring OAuth2
《Spring OAuth2 开发指南》是系列文章,详细介绍基于 Spring 生态(包括 Spring Cloud) OAuth2
ruochen
2021/11/23
2.1K0
推荐阅读
相关推荐
微服务权限终极解决方案,Spring Cloud Gateway + Oauth2 实现统一认证和鉴权!
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档