适用场景

本平台提供了强大的调度系统,但用户也可能有自己的调度系统,实现一些定制化的能力,比如在自己的调度平台实现ODS层数据入湖,然后在本平台做后续的加工,这时就需要将两个调度系统打通,实现跨系统之间的任务依赖。触发器节点即可实现由外部系统触发本系统任务执行的效果。

两个系统间的交互流程

如下图左侧为本平台的任务,右侧为外部系统。本平台的触发器节点和平台的其它节点的新建,以及调度逻辑一致。在线上调度时,需要当前任务到达计划执行时间,以及上游依赖的任务实例生成,则当前任务也会生成实例,实例变为运行中。触发器节点依赖的上游节点都运行成功,则状态也会变为运行中。

此时,外部系统发送该任务该节点的“成功”的触发信息,触发器节点即会变为成功状态,下游任务如果同时满足到达计划执行时间,且其它上游依赖的任务和节点也是成功状态,则下游也会开始运行。如果触发器节点一直处于运行中状态,则下游一直会等待。由此,可实现本平台等待上游任务运行完成的功能。

触发器节点 - 图1

用法说明

如下图,为触发器节点的详情页面,目前也支持接口调用方式来创建包含触发器节点的任务。接口参见OpenAPI的文档。

触发器节点 - 图2

在页面上,支持配置“外部触发器源头任务”、“备注信息”、“运行超时时间”、“自定义血缘”。

配置项 描述
外部触发器源头任务 非必填,支持配置外部任务的链接,可方便反向查看外部触发任务的信息。
备注信息 非必填,配置填写和外部触发相关的备注信息。
运行超时时间 表示节点运行时长超过某个时长时,系统自动终止该节点。可配合自动重试设置,实现节点自动终止后重新运行。当前支持系统默认(7天)自定义(h)永不超时
自定义血缘 1)非必填,支持配置血缘信息;
2)配置后的血缘,在执行时会推送给血缘系统;
3)如果下游任务使用当前触发器配置的输出表,在进行智能推荐时,支持推荐依赖当前节点;
4)配置的血缘中,数据源需要现在数据源管理中登记。