创建稽核监控任务

1 规则模板管理

创建稽核监控任务 - 图1 2021-05-27-17-23-53.png

在监控列表Tab下,系统预置规则模板,也支持自定义模板规则,以便于在创建稽核监控任务时,选择模板直接引用。

创建稽核监控任务 - 图3 2021-05-27-17-30-38.png

新建规则模板时,需要填写名称、描述和规则代码,规则代码可以使用${column}作为字段名称的占位符,应用规则时,${column}可自动替换为字段名。

系统内置的规则模板不支持删除,自定义的规则模板可编辑和删除(项目管理员和负责人有最高权限,可编辑所有,普通用户仅可编辑和删除自己创建的模板)。

2 新建稽核监控任务

在监控列表Tab下,点击”新建监控”,会分为两个步骤创建监控任务。

2.1 第一步:设置监控对象

创建稽核监控任务 - 图5 2021-05-27-17-43-57.png

选择需要监控的库表,若表为分区表,也可以选择具体的分区进行监控,监控名称默认由”dqc_”开头,拼接库和表的名称,允许修改。

需要注意的是:

一张表(非分区表)只能创建一个监控任务,分区表若有多个分区,可针对不同的分区创建多个监控任务,但同一个分区,也只能创建一个监控任务。

2.2 第二步:设置监控规则

点击下一步进入规则设置页面,点击”新建规则”,针对字段级和表级均可设置监控规则。

创建稽核监控任务 - 图7 2021-06-30-20-33-46.png

在”模板规则”Tab下,若选择了字段级,可选择需要监控的字段名,选择已经配置好的规则模板,填写期望范围,可设置期望规则命中行数或者规则命中行数比率,两个指标中至少配置1项。

可以选择当前监控规则为强规则还是弱规则,若为强规则,当规则不通过时,任务会置为失败状态,停止运行;若为弱规则,当规则不通过时,任务会继续运行。

创建稽核监控任务 - 图9 2021-07-01-10-19-57.png

若选择了表级别,提供主键唯一性、表行数和表行数波动率的规则模板可供选择;

创建稽核监控任务 - 图11 2021-07-01-10-21-15.png

若规则模板不满足需求,可以进入”自定义规则”的功能界面,针对字段级书写SQL语句。

创建稽核监控任务 - 图13 2021-07-01-10-22-38.png

若对字段还有其他处理逻辑,比如需要有where语句,需要做sum操作等,可以在自定义SQL中书写SQL语句实现。

创建稽核监控任务 - 图15 2021-07-01-10-25-28.png

监控规则创建完成后,页面可以查看创建好的规则,可以针对规则进行重新编辑、删除或禁用操作。

3 试跑监控任务

监控任务创建完成之后,可以对监控任务执行试跑,以查看监控规则结果是否符合预期。

创建稽核监控任务 - 图17 2021-07-01-10-30-28.png

点击试跑,可以选择试跑任务执行的队列,当试跑成功或失败时支持多种方式的通知。

4 查看试跑执行结果

创建稽核监控任务 - 图19 2021-07-01-10-31-53.png

在执行实例Tab中,可以查看全部的监控任务详情,可以通过筛选”实例类型”为试跑,查看试跑的实例,在操作栏,通过点击运行结果,可查看监控任务下规则的执行情况,若不符合预期,可以对监控规则进行调整后,再在离线开发中使用。