质量监控配置页面用于配置质量监控任务的相关内容,包括质量分权重配置运行配置异常数据配置监控对象配置规则属性配置以及权限配置

质量分权重配置

质量分权重配置页面支持配置校验类型权重和规则控制权重。配置后,系统会按照此处配置的内容重新计算表质量分。

质量监控配置 - 图1

此处,校验类型权重中的“其他”取其余六项平均值。

运行配置

运行配置页面支持质量监控运行参数配置,可在此处设置Driver内存、最大Executor数目、Executor内存。

质量监控配置 - 图2

异常数据配置

异常数据配置页面支持配置质量监控的异常数据存储是否默认打开,开启后,在质量监控任务配置时,针对Hive、Doris、StarRocks等支持异常数据存储的数据源,开关会默认开启。

特别地,针对Hive表,支持配置异常崔处表的生命周期配置,默认为15天。

质量监控配置 - 图3

针对异常数据存储开关、质量监控异常数据生命周期配置的解释说明,用户可查看问好图标的鼠标悬停提示。

监控对象配置

监控对象配置页面支持配置开关,hive/Doris表质量监控负责人需对监控表有读或写权限才可配置质量监控任务。

开启开关后,新建或编辑质量监控监控对象仅能选择有读/写权限的hive/Doris表;发布中心接收端的监控负责人如果没有表权限,则任务导入/发布失败;批量移交负责人时如果接收人没权限移交失败。

质量监控配置 - 图4

规则属性配置

规则属性配置页面支持对质量监控规则的属性支持添加自定义字段,配置完成后,在质量监控任务配置时,会增加显示此处的属性。并且,此处的规则属性配置,将在整个项目组下生效。

质量监控配置 - 图5

权限配置

权限配置页面用于控制用户对项目内所有质量任务是否有查看权限。

质量监控配置 - 图6