如何实现画像标签的数据质量监控

保证标签数据质量是画像平台建设不可或缺的一个重要环节，只有保证产出高质量的标签，画像平台上的功能才有价值，这也是人群圈选准确性和画像分析结论有效性的前提和基础。如何通过工程化的方式评估一个标签的质量？表3-13展示了评价标签质量的主要检测维度。

                                         表3-13 标签质量检测维度

可以根据上述表中标签的检测维度进行工程化实现。为了检测标签产出及时性，可以编写定时调度任务，通过查询Hive的元数据服务来判断分区是否就绪，如果在规定时间尚未产出最新分区，可以发出报警信息。为了检测标签数据是否具备唯一性，可以查询指定数据表里面主键数目，通过该数目与数据表行数进行对比，数据量不一致则说明主键不唯一。有效性检测可以通过每日分析标签取值的变化以及每一个标签值数量占比波动来判断数据是否有效，如果T日标签值集合与T-1日标签值集合差异率较高，或者T日各标签值数据量与总量的占比波动超过指定阈值，则说明标签内容波动较大，不满足有效性要求。

业界有一些开源的数据质量监控框架和解决方案。Apache Griffin，起源于eBay中国，于2016年进入Apache孵化器，支持批处理和流模式两种质量检测方式，可以从不同维度检测数据质量。Deequ是亚马逊提供的开源工具，可以基于Spark来做大数据质量检测。DataWorks是阿里云重要的平台产品，提供了数据集成、开发、质量检测和数据服务，其中质量检测包括数据探查、对比、质量监控、SQL扫描和智能报警等功能。DataMan是美团开发的大数据质量监控平台，可以对大数据做技术性和业务性的质量检测，并形成完整的数据质量报告和问题跟踪机制。画像平台标签数据质量检测，除了通过自行编写代码实现之外也可以选择上述开源工具实现。

本文节选自《用户画像：平台构建与业务实践》，转载请注明出处。