前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >数据治理 vs. 数据管理:别再傻傻分不清!

数据治理 vs. 数据管理:别再傻傻分不清!

原创
作者头像
Echo_Wish
发布于 2025-05-14 00:11:58
发布于 2025-05-14 00:11:58
9800
代码可运行
举报
文章被收录于专栏:速入大数据速入大数据
运行总次数:0
代码可运行

数据治理 vs. 数据管理:别再傻傻分不清!

在数据圈混得久了,总会遇到这样的问题:“数据治理”和“数据管理”到底有什么区别?是不是数据治理就是数据管理?又或者,数据管理包括数据治理?今天,咱们就来把这件事儿彻底说清楚,顺便聊聊它们的关系到底有多紧密。

先搞清楚两者的概念

数据治理:定规则,立规矩

数据治理(Data Governance)其实就像是公司里制定规章制度的领导层,它的核心任务是制定数据的规则和标准,并确保这些规则能够真正落地执行。换句话说,数据治理决定了数据应该怎么用、怎么存、怎么共享,确保数据的可靠性、一致性、安全性和合规性。

数据管理:干活的,落地执行

数据管理(Data Management)则是负责执行的团队,所有数据的收集、存储、处理、分析,都是数据管理的范畴。它不管数据策略怎么定,它的目标是让数据可用、可操作,并且高效运作。

咱们打个比方,如果数据是一座城市:

  • 数据治理 就像市政府,负责制定法律、交通规则、建筑规范,确保整个城市运行良好。
  • 数据管理 就像执行部门,比如交警、环卫、城建,负责维持秩序、盖房子、清理垃圾,把城市真正运转起来。

所以,两者的关系就是:数据治理是战略,数据管理是执行。

数据治理与数据管理的互动

数据治理并不是高高在上定完规则就完事了,它必须与数据管理紧密配合,才能真正发挥作用。这就像公司的管理层不能只定规矩,却没人执行一样。

1. 治理决定管理的方向

数据治理制定的数据标准、质量控制、数据安全策略,会直接影响数据管理的方式。比如:

代码语言:python
代码运行次数:0
运行
AI代码解释
复制
# 数据治理层规定所有用户ID必须是字符串,且长度不得超过10
def validate_user_id(user_id):
    if isinstance(user_id, str) and len(user_id) <= 10:
        return True
    return False

这个规则如果不制定,数据管理层可能会允许各种乱七八糟的数据格式,导致系统出问题。

2. 管理反馈治理是否可行

数据管理在落地执行时,如果发现某些治理规则过于严格或者不合理,需要及时反馈给治理层,让他们调整策略。例如,如果要求所有用户的出生日期必须填写完整,但在现实应用中,有大量用户不愿意提供准确生日,那么这个规则可能需要调整为“非必填但建议填写”。

治理与管理结合,数据才能跑得稳

数据治理和数据管理就像一个精密运转的机器,单靠制定规则是不行的,必须要有高效执行的体系,才能真正让数据发挥价值。如果没有治理,数据管理就会变得混乱;如果没有管理,治理也只是纸上谈兵。

企业在数据治理和数据管理之间,不能厚此薄彼。治理要有科学的方法,管理要有清晰的执行力,只有两者互相协同,才能让数据真正变成生产力。

结语

数据治理和数据管理,看似只是概念上的区别,实则影响深远。如果你是一名数据从业者,记住:数据治理是定方向,数据管理是走路。方向不对,走得再快也没用;而方向对了,不走就永远到不了终点!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Kafka学习四
在kafka启动时,首先执行的broker的操作,然后接着会执行生产者操作,接着将生产者的消息放入到存储中,此时生产者和broker会进行交互,而消费者发送消息,接着消费者会和broker交互。前面我们知道kafka在kafkaApi中会处理具体的请求。首先,我们再次来看kafkaApi的handle,可以看到其入参的参数是RequestChannel.request,也即我们需要找到ReuqestChannel,回忆在RocketMQ中,我们也可以看到请求的参数:ChannelHandlerContext和request在Processor中。也即request.header.apiKey匹配到case样例函数。从Sender中,我们可以看到sendProducerData和poll两个方法中有构建请求和完整响应,此时可以看到kafkaApi中基于请求的,也即必然会有处理器。
路行的亚洲
2020/10/26
6010
Kafka Producer整体架构概述及源码分析
它是一个ConcurrentMap,key是TopicPartition类,代表一个topic的一个partition。value是一个包含ProducerBatch的双端队列。等待Sender线程发送给broker。画张图来看下:
857技术社区
2022/05/17
5690
Kafka Producer整体架构概述及源码分析
KafkaProducer源码分析
Broker:Kafka的服务端即Kafka实例,Kafka集群由一个或多个Broker组成,主要负责接收和处理客户端的请求
用户6070864
2019/09/04
6230
KafkaProducer源码分析
5、深潜KafkaProducer——Sender线程
通过上一课时的介绍我们了解到,业务线程通过 KafkaProducer.send() 方法将 message 放入 RecordAccumulator 中进行能缓冲,并没有进行实际的网络 I/O 操作,真正的网络 I/O 操作是由 Sender 线程完成。
杨四正
2021/05/26
1.1K0
源码分析 Kafka 消息发送流程(文末附流程图)
从上文 初识 Kafka Producer 生产者,可以通过 KafkaProducer 的 send 方法发送消息,send 方法的声明如下:
丁威
2019/11/12
1.4K0
源码分析 Kafka 消息发送流程(文末附流程图)
kafka实践(十二):生产者(KafkaProducer)源码详解和调试
在前面已经完成win环境下zk(3.4.12版本)的运行,并对kafka源码编译, 参考:本地kafka源码的编译和调试,在idea的run-->debug-->中新增configuration来创建topic:yzg(3分区1备份),本地启动运行效果:
数据社
2020/12/08
8850
kafka实践(十二):生产者(KafkaProducer)源码详解和调试
KafkaProducer Sender 线程详解(含详细的执行流程图)
上文 《源码分析 Kafka 消息发送流程》 已经详细介绍了 KafkaProducer send 方法的流程,该方法只是将消息追加到 KafKaProducer 的缓存中,并未真正的向 broker 发送消息,本文将来探讨 Kafka 的 Sender 线程。
丁威
2019/11/19
1.7K0
KafkaProducer Sender 线程详解(含详细的执行流程图)
4、深潜KafkaProducer —— RecordAccumulator
通过上一课时的介绍我们了解到,业务线程使用 KafkaProducer.send() 方法发送 message 的时候,会先将其写入RecordAccumulator 中进行缓冲,当 RecordAccumulator 中缓存的 message 达到一定阈值的时候,会由 IO 线程批量形成请求,发送到 kafka 集群。本课时我们就重点来看一下 RecordAccumulator 这个缓冲区的结构。
杨四正
2021/05/26
1.3K0
Kafka生产者的使用和原理
本文将学习Kafka生产者的使用和原理,文中使用的kafka-clients版本号为2.6.0。下面进入正文,先通过一个示例看下如何使用生产者API发送消息。
草捏子
2020/09/14
1.1K0
Kafka生产者的使用和原理
多图详解kafka生产者消息发送过程
KafkaProducer通过解析producer.propeties文件里面的属性来构造自己。 例如 :分区器、Key和Value序列化器、拦截器、RecordAccumulator消息累加器 、元信息更新器、启动发送请求的后台线程
石臻臻的杂货铺[同名公众号]
2022/04/30
1.9K0
多图详解kafka生产者消息发送过程
多图详解kafka生产者消息发送过程
KafkaProducer通过解析producer.propeties文件里面的属性来构造自己。 例如 :分区器、Key和Value序列化器、拦截器、RecordAccumulator消息累加器 、元信息更新器、启动发送请求的后台线程
石臻臻的杂货铺[同名公众号]
2022/09/26
6560
kafka0.8生产者异常处理
本文简单解析一下kafka0.8.2.2版本中的java producer的异常处理。
code4it
2018/09/17
6560
kafka0.8生产者异常处理
kafka全面解析(二)
oldproducer是生产者scala版本的生产者,支持同步模式,和异步模式,通过实行producer.type进行配置。
小土豆Yuki
2021/05/11
5840
Kafka基础篇学习笔记整理
KafkaProducer会将消息先放入缓冲区中,然后由单独的sender线程异步发送到broker服务端,那么既然消息是批量发送的,那么触发批量发送的条件是什么呢?
大忽悠爱学习
2023/04/23
3.8K0
Kafka基础篇学习笔记整理
八股必备|Kafka幂等性原理深入解析
在正常情况下,Producer向Broker投递消息,Broker将消息追加写到对应的流(即某一Topic的某一Partition)中,并向Producer返回ACK信号,表示确认收到。
王知无-import_bigdata
2022/04/13
3K0
八股必备|Kafka幂等性原理深入解析
(六)Kafka系列:十分钟,了解Kafka的Sender线程
在上两篇文章《连Producer端的主线程模块运行原理都不清楚,就敢说自己精通Kafka》和《一文了解Kafka的消息收集器RecordAccumulate》中,我们介绍了Main Thread和RecordAccumulate的工作原理,那么在本篇文章中,我们继续介绍第三部分内容:Sender线程。
爪哇缪斯
2023/09/19
2010
(六)Kafka系列:十分钟,了解Kafka的Sender线程
Kafka 生产者解析
Producer 的拦截器(Interceptor)和 Consumer 的 Interceptor 主要⽤于实现Client端的定制化控制逻辑。 对于Producer⽽⾔,Interceptor使得⽤户在消息发送前以及Producer回调逻辑前有机会对消息做⼀些定制化需求,⽐如修改消息等。同时,Producer允许⽤户指定多个Interceptor按序作⽤于同⼀条消息从⽽形成⼀个拦截链(Interceptor Chain)。Intercetpor 的实现接⼝是org.apache.kafka.clients.producer.ProducerInterceptor,其定义的⽅法包括:
用户7353950
2022/06/23
5920
Kafka 生产者解析
十分钟,了解Kafka的Sender线程
在上两篇文章《连Producer端的主线程模块运行原理都不清楚,就敢说自己精通Kafka》和《一文了解Kafka的消息收集器RecordAccumulate》中,我们介绍了Main Thread和RecordAccumulate的工作原理,那么在本篇文章中,我们继续介绍第三部分内容:Sender线程。
爪哇缪斯
2023/09/08
4480
十分钟,了解Kafka的Sender线程
「kafka」kafka-clients,java编写生产者客户端及原理剖析
构建的消息对象ProducerRecord并不是单纯意义上的消息,它包含了多个属性,原本需要发送的业务相关的消息体只是其中的一个value属性,比如“hello world”,ProducerRecord的源码如下:
源码之路
2020/09/04
1.7K0
「kafka」kafka-clients,java编写生产者客户端及原理剖析
从源码来分析kafka生产者原理
源码学习是一种挺好的方式,不过根据我的经验最好是先学习大致的原理,再回头看源码,更能抓住重点。
崩天的勾玉
2024/03/12
1570
从源码来分析kafka生产者原理
相关推荐
Kafka学习四
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验