监管数据质量专项治理方案5个阶段

第一阶段是启动阶段，银行保险机构重要的是成立数据治理治理领导小组，制定本机构监管数据质量专项治理工作方案。建议一把手亲自挂帅，下设办公室，办公室职能落在监管统计归口管理部门，大部分会在数据管理部、计划财务部、风险管理部…成员应包括所有业务部门、主要分支行行长。

要注意领导小组不能搞空架子，开展宣传动员会，提高思想认识，消除抵触情绪，为下一步数据质量自查工作保驾护航，将自查自评工作落到实处。

第二阶段是自查自评阶段，总会统一的监管数据质量评估模板目前还没见到，估计很快将会下发，同时银保监局要因地制宜，制定分支机构数据质量评估模板。从监管要求看，重点是排查评估核心监管指标数据准确性和真实性情况、数据质量控制机制是否健全、组织制度系统保障是否得力、内部重大差错报告和监督工作是否到位等方面。

第三阶段是监管检查评估阶段，这一阶段是监管部门重点，要将辖内上报的报告进行汇总，对在监管数据报送质量、治理工作、自查自评组织等方面落实监管要求的情况进行总体评估。至少抽取辖内1家法人银行机构、2家银行保险分支机构开展监管数据质量现场检查或督查。省内城商行或头部农商行被抽中概率很大。省银保监局将该文转发至分局，由于时间紧、任务重，分局可能会抽查1-2家辖内法人机构或分支机构，但不会很多。除上述不按要求完成自评的银行外，数据经常报送错误，监管数据波动起伏较大，三大系统数据逻辑校验不一致的银行被抽中可能性较大。需要注意的是，这一阶段没有被抽中的银行并非无事可干，可以提前进入问题整改阶段。

第四阶段是问题整改阶段，监管部门督促落实监管相关数据质量问题整改要求。被监管机构要做一个整改台账，明确责任部门和完成时限，认真组织整改。要注意的是不是所有问题在4月底前就能整改完毕，要明确具体的整改时限要求，分阶段完成。最后还要形成问题整改报告，在4月底前报送监管部门。

第五阶段是总结交流阶段，监管部门针对辖内监管数据质量专项治理情况，形成工作总结报告，于2021年5月底前报送银保监会统信部。被监管部门总结专项治理工作，对监管相关数据质量及其治理情况进行内部考评。

这一阶段正好是2021年统计工作总结时段，各级监管部门需要开展总结表彰大会，针对数据质量专项治理工作表现优异的银行保险机构给予表彰，对落实情况比较差的银行和2020年数据差错较多的银行通报批评。

工欲善其事，必先利其器。亿信数据质量管理平台（EsDataClean）提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。让企业能够一站式轻松搞定质检全过程，其内置质检规则已多达16种，灵活满足各种质检需求。以常见的几个质检维度来举例说明：

完整性（Completeness）

字段是否为空或NULL可使用空值检查，可以判断一个或多个字段是否非空。数据是否丢失可使用记录缺失检查，根据比照表字段检查目标字段是否缺少数据。

唯一性（Uniqueness）

检查数据是否唯一可使用重复数据检查。检查一张表内的重复数据，重复依据的定义不限于单一字段。若仅添加一个字段，将检查该字段内是否有重复数据；若添加了多个字段，将联合检查多个字段内是否有重复数据。

及时性（Timeliness）

检查数据填报是否在允许时间范围内可使用及时性检查。用来检查数据抽取、上报是否及时。

有效性（Validity）

检查数据是否符合其定义的语法（格式、类型、范围），场景包括不限于字段长度有效、字段内容有效、字段数据范围有效、枚举值个数有效、枚举值集合有效。这些场景下可使用值域检查、规范检查、波动检查、平衡性检查、离群值检查。

准确性（Accuracy）

数值同比波动监测、数值环比波动监测、表逻辑检查。可使用逻辑检查、值域检查、波动检查、平衡性检查。

一致性（Consistency）

检查数据项的多个数据是否一致，可使用引用完整性检查、数据集检查。

自定义（Customize）

支持用户自定义写质检规则，可使用SQL脚本检查、JAVA脚本、R脚本检查、Python脚本检查。

亿信数据质量管理平台（EsDataClean）从完整性、唯一性、及时性、有效性、准确性、一致性、自定义等几个维度对数据质量进行测量。通过图形化的界面，事先定义好的规则、调度时间、工作流程，自动完成数据的质量检查，极大的减少人力的投入和过程干预，提升效率，减少误差。对于数据质量的检测结果进行分析和量化，查找出现质量问题的数据链环节，定位数据问题，实行问责机制。

近年来越来越多的企业认识到了数据的重要性，数据仓库、大数据平台、数据中台的建设如雨后春笋。人们也越来越重视数据的管理和治理，而数据质量管理是数据治理的核心，因此，拥有一个优秀数据质量平台，能够改善整个企业的数据的一下问题，让它在协助我们企业在提升生产力方面、效能方面、合规管理方面等等之中发挥的重要作用。