依赖抽取两个表同时更新才做触发的逻辑

当两个表都触发才抽取的逻辑如下:

如果有一个数据模型,宽表构成A和B表组合而成。

假设A和B都是每天一更新

日期 基础表 更新时间点 备注
2019-07-17 A 1时
2019-07-17 B 3时 数据更新完毕已经满足同时触发需求,所以被触发
2019-07-18 A 源头故障,数据没有更新
2019-07-18 B 3时 今天没有满足,条件不触发
2019-07-19 A 1时 数据更新完毕已经满足同时触发需求(昨天有一次B),所以被触发
2019-07-19 B 3时

从上述可以看出,我们的规则是没有周期限制的。

所以一旦出现源头故障。数据会持续错乱。

解决措施:

手工去触发打断之前的逻辑。这样后期数据正常,不会出现问题。

方案优化:

设置依赖的时候,在自定义sql 识别的时候,选择一张产数据最晚的表。做依赖触发条件。

如上图就把B表设置依赖触发表,不要把A.B同时选择。