离线开发中,支持诸多不同的节点。针对节点的一些共性特性,在此处说明。

开发模式节点内右侧的“其它设置”

大部分节点的详情页右侧,都有“其它设置”,点击后可查看和配置节点的设置。针对下方对公共的一些设置项进行说明:

设置项 说明
运行超时时间 表示节点运行时长超过某个时长后,系统自动终止该节点。可配合“自动重试”的设置,实现节点自动终止后重新运行。当前支持系统默认(7天)自定义(h)永不超时
自动重试 支持设置节点的自重试次数和重试间隔,在节点运行失败后,到达重试间隔时,系统会自动再次执行该节点。
输入参数 支持配置自定义的参数,以及引用上游节点的输出参数,供本节点使用。目前Perl、Shell、轮询节点、嵌套流节点、虚拟节点,不支持输入参数。
输出参数 对于SQL类数据源,支持将最后一条select语句的查询结果保存为二维数组供下游节点使用,下游节点可引用改节点的输出参数,然后在下游节点中使用。
对于Script、Shell、Perl节点,支持将结果输出到文件JOB_OUTPUT_FILE,供下游节点使用。
自定义血缘 1)自定义血缘指支持手动添加输入输出表,节点运行时会将配置的输入输出表信息推送到表血缘数据库中。部分节点支持运行时解析并推送血缘的节点,如果这类节点也配置了自定义血缘,则会分别推送血缘,并合并落到表血缘数据库中;
2)目前支持自定义血缘的节点包括:SQL、逻辑数据源节点、Python、Shell、Perl、Spark、Script等;
3)对于SQL类节点,目前SQL、达梦、GPSQL、MySQL、OceanBase、OracleSQL、StarRocks、VerticaSQL支持运行时自动解析血缘。

开发模式节点右键

如下图,为开发模式SQL节点的右键,部分选项仅在部分节点或场景下支持,具体在后面表格中说明:

节点概述 - 图1

右键选项 说明
运行 对选中节点使用默认参数进行运行。
编辑 1)进入到节点详情页,可编辑该节点;
2)如下节点不支持该项:虚拟节点。
查看版本 1)对节点历史版本的查看,支持两个不同版本之间的比对;
2)目前,仅SQL节点支持,更多介绍可前往该节点的介绍页查看。
配置质量监控 1)为当前节点绑定质量监控任务;
2)具体配置说明可参见后文说明;
3)如下节点不支持该项:轮询节点、选择节点、嵌套流节点、虚拟节点。
配置NDC依赖 1)目前仅内部使用,用于配置依赖NDC平台的表。
重命名 1)对当前节点进行重命名;
2)如下节点不支持该项:虚拟节点。
复制节点 1)复制当前节点,包括节点内配置参数;
2)如下节点不支持该项:虚拟节点。
禁用节点 1)禁用当前节点,任务提交上线后,被禁用的节点不会调度执行;
2)节点禁用时,会提示下游任务开发模式下,任务或节点对当前节点的依赖将同步删除,且当前节点配置的上游依赖信息也会全部删除;
3)如下节点不支持该项:虚拟节点。
删除节点 1)删除当前节点,支持键盘快捷键DELETE;
2)节点删除时,会提示下游任务开发模式下任务或节点对当前节点的依赖、当前节点配置的上游依赖信息、当前任务或节点的报警配置,都会删除;
3)如下节点不支持该项:虚拟节点。
选择节点 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。
取消选择节点 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。
发送通知 1)有下游依赖的节点,会显示该选项,可通过该入口通知下游任务;
2)具体使用说明可参见后文说明。
查看被依赖详情 1)有下游依赖的节点,会显示该选项,可通过该入口查看下游依赖情况;
2)具体说明可参见后文说明。
替换依赖节点 1)有下游依赖的节点,会显示该选项,可通过该入口快速完成依赖替换,将当前节点,替换为其它任务的其它节点;
2)具体使用方法可参见后文说明。

查看版本

SQL节点,支持查看版本,并且支持选择2个版本进行代码的比对。

节点概述 - 图2

节点概述 - 图3

配置质量监控

节点右键的“配置质量监控”,点击后,可出现如下图所示的配置页面,可以在页面上选择当前项目-集群下的质量监控任务。

节点概述 - 图4

发送通知

节点存在下游时(即被别的下游任务依赖),右键选项中会出现“发送通知”。点击发送通知,页面右侧会出现侧边弹框,系统会自动选中“开发模式”下的该节点,并计算该节点的1级下游任务负责人。也支持在通知范围中点击数字,在弹框中勾选需要通知的人员。

节点概述 - 图5

节点概述 - 图6

查看被依赖详情

节点存在下游时(即被别的下游任务依赖),右键选项中会出现“查看被依赖详情”。点击,会出现弹框,展示下游依赖该节点的任务或节点信息。

节点概述 - 图7

替换依赖节点

节点存在下游时(即被别的下游任务依赖),右键选项中会出现“替换依赖节点”。主要功能是,将下游任务或节点对当前节点依赖,替换为对其它任务的节点的依赖。

节点概述 - 图8

线上模式节点右键

如下图,为线上模式SQL节点的右键,部分选项仅在部分节点或场景下支持,具体在后面表格中说明:

节点概述 - 图9

右键选项 说明
查看节点 支持查看线上模式下,节点的内容。
查看节点标识 支持查看节点的标识。由于平台任务为3层结构,包括Project、Flow、Job。其中Flow为任务,即为任务列表中看到的记录,Job为节点,为多节点任务中可从右侧拖入的多种类型的节点。查看节点标识时,可展示3层结构的标识、名称,共6个字段和内容。当前一般用于网络隔离场景下,进行发布时的任务映射替换配置。
查看版本 当前仅SQL节点支持,可查看节点的历史版本,支持不同版本的代码对比。
查看节点执行历史 当前仅SQL节点支持,可跳转至任务运维中心,查看该节点的近n次执行时间和时长曲线、执行记录。
发送通知 有下游依赖的节点,会显示该选项,可通过该入口查看下游依赖情况。
查看被依赖详情 有下游依赖的节点,会显示该选项,可通过该入口查看下游依赖的任务。