数据治理之数据质量管理
目录
一、概念
什么是数据质量？
数据质量，是指在业务环境下，数据符合数据消费者的使用目的，能满足业务场景具体需求的程度。
二、不同角度看数据质量
1.从理论层面看数据质量：
1.完整性（记录数异常：检查源表和目标表的记录条数是否一致）
2.一致性（保证数据源一致）
3.准确性（异常值校验）
4.唯一性（存在冗余：检查是否有重复数据）
5.及时性（约定时间获取数据）
6.安全性（权限管理）
7.自查性（监控校验规则）
8.规范性（码值规范、格式规范（身份证、日期等））
9.周期性（数据生命周期）
10.可追溯性（上下游血缘信息追踪，快速定位问题）
2.从程序员视角看数据质量:
1.易读易扩展易维护；
2.上线无失误；
3.报警及时处理；
4.业务逻辑清晰。
3.从架构的环节看数据质量：
事前：定义数据的监控规则
数据采集阶段，业务信息的变更。
事中：监控和控制数据生产过程
开发阶段的质量评测，交叉检验；制定数据质量监控规则（主键唯一性、空值校验、阈值报警）
事后：分析和问题跟踪
Review，生成复盘报告
三、影响因素
1.技术：
1.数据模型设计的质量问题
2.数据源存在数据质量问题
3.数据采集过程质量问题
4.数据传输过程的问题
5.数据装载过程的问题
6.数据存储的质量问题
7.业务系统各自为政，烟囱式建设，系统之间的数据不一致问题严重
2.业务：
1.业务需求不清晰
2.业务需求的变更
3.业务端数据输入不规范，常见的数据录入问题
4.数据作假
3.管理：
1.没有明确数据归口管理部门或岗位，缺乏数据认责机制，出现数据质量问题找不到负责人
2.缺乏数据规划，没有明确的数据质量目标，没有制定数据质量相关的政策和制度
3.数据输入规范不统一，不同的业务部门、不同的时间、甚至在处理相同业务的时候，由于数据输入规范不同，造成数据冲突或矛盾
4.缺乏有效的数据质量问题处理机制，数据质量问题从发现、指派、处理、优化没有一个统一的流程和制度支撑，数据质量问题无法闭环
5.缺乏有效的数据管控机制，对历史数据质量检查、新增数据质量校验没有明确和有效的控制措施，出现数据质量问题无法考核
四、解决方案（DQC)
1.数据资产管理（数据认责、数据资产分类、数据资产定级）
2.代码提交核查（上线、发布、提交、变更等数据生产加工各环节卡点校验）
3.数据处理风险监控（规则配置、执行规则、数据统计、监控预警）
4.响应流程（响应时间、操作举措）
腾讯云开发者
