创建稽核监控任务
在监控列表页面可对已创建的监控任务进行管理,支持新建、复制、删除、试跑、引用详情等功能。
规则模板管理
在监控列表页面,单击规则模板管理可进入质量规则管理页面。系统预置规则模板,也支持自定义模板规则,以便于在创建稽核监控任务时,选择模板直接引用。
新建规则模板时,需要填写名称、描述和规则代码,规则代码可以使用${column}作为字段名称的占位符,应用规则时,${column}可自动替换为字段名。
系统内置的规则模板不支持删除,自定义的规则模板可编辑和删除(项目管理员和负责人有最高权限,可编辑所有,普通用户仅可编辑和删除自己创建的模板)。
新建稽核监控任务
在监控列表页面,点击新建监控可进入监控任务创建页面。
步骤一:设置监控对象
选择需要监控的库表,若表为分区表,也可以选择具体的分区进行监控,监控名称默认由dqc_开头,拼接库和表的名称,允许修改。
说明: 1. 一张表(非分区表)只能创建一个监控任务,分区表若有多个分区,可针对不同的分区创建多个监控任务。但同一个分区且分区值相同情况下,只能创建一个监控任务。 2. 对于MySQL此种不自带分区的数据源类型,提供自定义分区设置。支持自行选择需要配置分区的字段,并选择时间参数。此处选择的字段仍可继续配置稽核规则,若配置规则自定义SQL时和此处配置冲突,则该规则失败,字段支持多选。 |
步骤二:设置监控规则
点击下一步进入规则设置页面,点击新建规则,针对字段级和表级均可设置监控规则。
在模板规则页签下,若选择了字段级,可选择需要监控的字段名和已经配置好的规则模板、填写期望范围、设置期望规则命中行数或者规则命中行数比率(两个指标中至少配置1项)。配置规则控制,选择当前监控规则为强规则还是弱规则,若为强规则,当规则不通过时,任务会置为失败状态,停止运行;若为弱规则,当规则不通过时,任务会继续运行。
若选择了表级别,提供主键唯一性、表行数和表行数波动率的规则模板可供选择。
若规则模板不满足需求,可在自定义规则页签,针对字段级书写SQL语句。
若对字段还有其他处理逻辑,比如需要有where语句,需要做sum操作等,可以在自定义SQL中书写SQL语句实现。
监控规则创建完成后,可以在页面查看创建好的规则,支持对规则进行重新编辑、删除或禁用操作。
步骤三:试跑监控任务
监控任务创建完成之后,支持对监控任务执行试跑,以查看监控规则结果是否符合预期。点击试跑,可以选择试跑任务执行的队列,当试跑成功或失败时支持多种方式的通知。
步骤四:查看试跑执行结果
在执行实例页面中,可以查看全部的监控任务详情,可以通过筛选实例类型为试跑,查看试跑的实例,在操作栏,通过点击运行结果,可查看监控任务下规则的执行情况,若不符合预期,可以对监控规则进行调整后,再在离线开发中使用。
以上内容对您是否有帮助?