在数据开发任务完成后,可按需配置质量监控任务。除了轮询节点、选择节点、嵌套流、虚拟节点等控制节点,其它节点均支持配置质量监控。

配置质量监控的主要作用是对产出的数据进行数据校验,比如校验产出表的唯一性、表行数、某些特定记录的记录数波动等进行检测,当出现异常时,及时阻断任务执行,防止下游被错误数据污染。

质量监控配置步骤如下:

1.质量监控的配置前提需要在数据质量中心创建质量监控任务

2.右键单击节点,选择配置质量监控

配置质量监控 - 图1

3.在弹出的页面,进行监控的绑定,如果没有配置质量监控任务,可单击前往数据质量中心进行配置;

配置质量监控 - 图2

4.配置执行失败策略,当前支持当监控任务失效时终止本任务或继续下游调度。

对于质量监控,支持强规则弱规则的设置,如果质量监控中配置了强规则,而检测结果为异常不通过,则当前节点在执行时,也会变为失败。比如,设置某个表的主键唯一性校验为强规则,而实际当前节点某一次执行时,因为上游数据异常,导致主键不唯一,则当前节点会因为质量监控不通过,而变为失败。更多关于质量监控的说明,可前往数据质量中心查看。

配置完质量监控后,可在节点上看到质量监控的图标:

配置质量监控 - 图3