在数据质量中心,提供数据质量大屏以便用户对当前整个项目内的数据质量情况有所了解。数据质量大屏功能模块分为表质量平均分监控配置情况调度监控执行情况,分别展示当前项目下表质量平均分、线上调度和配置的规则总量、表覆盖量和任务调度的监控量等内容。当前大屏支持数据源类型有Hive、Greenplum、MySQL、Oracle、Vertica、SQLServer。

表质量平均分

当前表质量平均分支持展示近7天、近30天以及自定义时间范围内的统计。
质量大屏 - 图1
当数据源类型为Hive时,支持根据表负责人、不同的表分层、不同的主题域(主题域支持下钻到二级主题域)统计表质量平均分。
质量大屏 - 图2

表质量平均分计算逻辑:如一个表挂了多个监控任务,每个监控执行结束后整体重新计算一次,今日执行过的多个监控任务的最后一次执行的实例规则一起计算。

监控配置情况

监控配置情况支持根据数据源类型、监控负责人、表负责人、表分层对监控总量、线上调度监控、配置规则总量/强规则量/弱规则量、表覆盖量进行展示。

质量大屏 - 图3

参数信息 说明
线上调度监控 指被配置到线上任务(已调度)的稽核监控的数量。
配置规则总量 指被配置到线上调度任务的稽核监控中配置的规则(已启用)数量。
表覆盖量 指被配置到线上调度任务的稽核监控覆盖的表数量。
监控配置情况:线上调度监控 、表覆盖量 、配置规则总量,计算时包含独立调度的监控以及挂在离线开发上调度的监控。

监控配置情况中,监控总量,强/弱规则总量,不同校验规则类型总量,支持下钻查看对应类型规则的明细数据。 点击监控总量指标卡,可跳转至质量监控页面查看已筛选的监控任务。 质量大屏 - 图4 质量大屏 - 图5 点击"强弱规则",弱规则环形图,可跳转至规则列表页面查看已筛选的弱规则。 质量大屏 - 图6 质量大屏 - 图7 点击"校验类型",准确性校验环形图,可跳转至规则列表页面查看已筛选的准确性校验类型规则。 质量大屏 - 图8 质量大屏 - 图9

调度监控执行情况

通过表负责人、表分层、时间筛选或者监控负责人等筛选条件,快速定位符合条件的线上调度监控、异常监控量等内容。
质量大屏 - 图10

参数信息 说明
今日已调度监控量 指今天稽核监控已被线上任务调度的数量(监控实例的开始时间为今日)。
异常监控量 指运行结果为异常的稽核监控的数量(监控实例的开始时间为今天),按每个监控的最近一个实例来统计,不计重跑、补数据和监控任务试跑。
失败监控量 指稽核监控运行失败的监控数量(监控实例的开始时间为今天),按每个监控的最近一个实例来统计,不计重跑、补数据和监控任务试跑。
异常规则总量 指运行结果为异常的稽核监控中的异常规则数量,按每个监控的最近一个实例来统计,不计重跑、补数据和监控任务试跑。
调度监控执行情况:已调度监控量 、异常规则总量,计算时包含独立调度的监控以及挂在离线开发上调度的监控。