质量监控任务的配置在整个流程中较为灵活,可先与开发配置也可在开发过程中进行配置,本身又属于治理的环节所以配置的时机并不固定。

质量设计这个环节重点介绍下数据标准和质量稽核任务的联动,非数据元相关的字段不在此处进行介绍,可根据实际需要自定义字段或表的质量规则。

此外,当前质量稽核任务的创建权限为所有用户因此权限这块不多做介绍。

质量稽核任务的创建

步骤一:在监控列表页面,点击新建监控按钮

质量稽核任务设计 - 图1

步骤二:设置监控对象

以ods_trade_usertable为例,选择对应的库和表,监控名称自动生成。

质量稽核任务设计 - 图2

如果有分区字段,可在分区筛选中选择分区字段进行设置,如:

质量稽核任务设计 - 图3

点击下一步,完成监控对象配置。

步骤三:设置规则

点击新建规则按钮,选择标准推荐规则

质量稽核任务设计 - 图4

选择各个字段进行规则配置,以phone_no为例:

质量稽核任务设计 - 图5

配置完成后,规则列表如下:

质量稽核任务设计 - 图6

步骤四:点击完成按钮,完成配置

这里需要说明下,因为现在没有数据,如果是先进行数据同步再进行质量的设置,那么可进行试跑操作,这里只需要完成就行。

配置完成后,将出现在监控任务列表里面。

质量稽核任务设计 - 图7

步骤五:根据上述步骤完成表ods_trade_ordertable和表dwd_trade_user_order的监控稽核任务(可选)

此处如果大家想尝试可自行进行这两表以及其它质量规则的设置。