嵌套流节点属于控制节点,可以选择嵌套一个已经提交上线的任务,包括单节点任务、多节点任务和任务组下的多节点任务(商业化版本不支持任务组),将其作为本工作流的一个节点运行。

嵌套流 - 图1

参数信息 说明
嵌套任务 支持选择当前项目下的单节点任务、工作流任务、任务组任务下的工作流。
运行超时时间 表示节点运行时长超过某个时长时,系统自动终止该节点。可配合自动重试设置,实现节点自动终止后重新运行。当前支持系统默认(7天)自定义(h)永不超时
自动重试 开启后,可进行重试次数重试间隔配置。
输入参数 支持节点本身自定义参数配置。
嵌套流参数透传 勾选后表示除了将嵌套流参数传递给嵌套流所引用的任务外,还会将引用了参数组的参数传递给嵌套流所引用的任务。
嵌套流参数 支持自定义传递给嵌套流所引用的任务的参数。
说明:
1. 嵌套任务约定嵌套一个其它稳定运行的线上任务,因此被嵌套的任务必须已提交上线,但是可以没有设置线上调度。
2. 当在开发模式修改被嵌套的任务时,也需提交上线才可生效。
3. 当执行嵌套流节点时,被嵌套的线上任务独立运行不影响其正在运行的调度任务。
4. 嵌套所引用的任务可以是节点任务、工作流任务、任务组下的某一个工作流。
5. 嵌套流节点可以被跨流依赖。

嵌套流节点循环执行功能说明

嵌套流节点支持循环执行一个离线开发任务,支持在每次循环时传入一个参数。此外,每次循环都会产生一个实例,可以实现嵌套一个包含数据同步节点的任务,将不同数据源下不同的表抽取到hive表中,具体实现步骤如下:

步骤一:在控制台处添加逻辑数据源的标签。
在数据源登记模板配置的逻辑数据源标签tab下,支持添加标签。如标签名称设置为“生产基地”,标签值域包括“北京”、“上海”、“杭州”。
嵌套流 - 图2

步骤二:登记逻辑数据源的时候选择标签,分别为物理数据源指定标签。
嵌套流 - 图3

步骤三:在数据传输中,选择逻辑数据源,并引用参数组,在库名和表名中输入参数的名称。
嵌套流 - 图4

步骤四:离线开发中的数据同步节点选择数据传输任务。
嵌套流 - 图5

步骤五:嵌套流任务中选择嵌套数据同步节点所属的任务。执行模式选择“循环执行”,循环执行模式下的配置项如下:

配置项 描述
循环参数 在参数类型中支持选择“自定义”或“逻辑数据源标签”。选择“逻辑数据源标签”之后,在参数名称选择“生产基地”,并选择对应的参数取值。选择“自定义”之后,分别输入对应的库名和表名。每组参数支持配置执行失败策略。包括“允许失败”和“不允许失败”。允许失败是指如果该循环执行失败,其他循环均执行成功时,认为本节点运行成功;不允许失败是指,如果该循环执行失败,其他循环均执行成功或有允许失败的循环执行时,认为本节点运行失败。
并发数 表示最多可以同时执行多少个循环。
失败设置 包括:仅完成执行中的循环,指继续完成正在执行的循环,结束后不再启动新的循环;停止所有循环,指立即停止所有执行的循环,包括正在执行的循环;继续完成其他循环,指忽略失败循环,继续完成不依赖失败循环的循环。失败设置仅在不允许失败的循环中生效。 。
嵌套流 - 图6
注意:逻辑数据源标签仅在数据传输任务中生效;嵌套流循环执行时不支持设置重试,任务中的自动重试对该节点无效。

步骤六:开发模式下运行的时候,支持在运行结果中查看循环详情。运行结束后,支持查看运行成功的循环参数个数和循环参数个数总数。点击“循环详情”支持查看每次循环的示例ID和运行状态,点击“实例ID”和“查看详情”支持查看循环任务的执行详情。
嵌套流 - 图7
嵌套流 - 图8

其它功能

右键节点,支持功能项如下:
嵌套流 - 图9

参数信息 说明
运行 对选中节点使用默认参数进行运行。
编辑 编辑当前节点。
重命名 对当前节点进行重命名。
复制节点 复制当前节点,包括节点内配置参数。
禁用节点 禁用当前节点,如果该节点被依赖,在开发模式禁用后无法提交到线上模式,需要先解除依赖。
删除节点 删除当前节点,支持键盘快捷键DELETE。
选择节点 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。
取消选择节点 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。