节点概述
更新时间: 2024-12-04 15:36:43
阅读 65
离线开发中,支持诸多不同的节点。针对节点的一些共性特性,在此处说明。
开发模式节点内右侧的“其它设置”
大部分节点的详情页右侧,都有“其它设置”,点击后可查看和配置节点的设置。针对下方对公共的一些设置项进行说明:
设置项 | 说明 |
---|---|
运行超时时间 | 表示节点运行时长超过某个时长后,系统自动终止该节点。可配合“自动重试”的设置,实现节点自动终止后重新运行。当前支持系统默认(7天)、自定义(h)、永不超时。 |
自动重试 | 支持设置节点的自重试次数和重试间隔,在节点运行失败后,到达重试间隔时,系统会自动再次执行该节点。 |
输入参数 | 支持配置自定义的参数,以及引用上游节点的输出参数,供本节点使用。目前Perl、Shell、轮询节点、嵌套流节点、虚拟节点,不支持输入参数。 |
输出参数 | 对于SQL类数据源,支持将最后一条select语句的查询结果保存为二维数组供下游节点使用,下游节点可引用改节点的输出参数,然后在下游节点中使用。 对于Script、Shell、Perl节点,支持将结果输出到文件JOB_OUTPUT_FILE,供下游节点使用。 |
自定义血缘 | 1)自定义血缘指支持手动添加输入输出表,节点运行时会将配置的输入输出表信息推送到表血缘数据库中。部分节点支持运行时解析并推送血缘的节点,如果这类节点也配置了自定义血缘,则会分别推送血缘,并合并落到表血缘数据库中; 2)目前支持自定义血缘的节点包括:SQL、逻辑数据源节点、Python、Shell、Perl、Spark、Script等; 3)对于SQL类节点,目前SQL、达梦、GPSQL、MySQL、OceanBase、OracleSQL、StarRocks、VerticaSQL支持运行时自动解析血缘。 |
开发模式节点右键
如下图,为开发模式SQL节点的右键,部分选项仅在部分节点或场景下支持,具体在后面表格中说明:
右键选项 | 说明 |
---|---|
运行 | 对选中节点使用默认参数进行运行。 |
编辑 | 1)进入到节点详情页,可编辑该节点; 2)如下节点不支持该项:虚拟节点。 |
查看版本 | 1)对节点历史版本的查看,支持两个不同版本之间的比对; 2)目前,仅SQL节点支持,更多介绍可前往该节点的介绍页查看。 |
配置质量监控 | 1)为当前节点绑定质量监控任务; 2)具体配置说明可参见后文说明; 3)如下节点不支持该项:轮询节点、选择节点、嵌套流节点、虚拟节点。 |
配置NDC依赖 | 1)目前仅内部使用,用于配置依赖NDC平台的表。 |
重命名 | 1)对当前节点进行重命名; 2)如下节点不支持该项:虚拟节点。 |
复制节点 | 1)复制当前节点,包括节点内配置参数; 2)如下节点不支持该项:虚拟节点。 |
禁用节点 | 1)禁用当前节点,任务提交上线后,被禁用的节点不会调度执行; 2)节点禁用时,会提示下游任务开发模式下,任务或节点对当前节点的依赖将同步删除,且当前节点配置的上游依赖信息也会全部删除; 3)如下节点不支持该项:虚拟节点。 |
删除节点 | 1)删除当前节点,支持键盘快捷键DELETE; 2)节点删除时,会提示下游任务开发模式下任务或节点对当前节点的依赖、当前节点配置的上游依赖信息、当前任务或节点的报警配置,都会删除; 3)如下节点不支持该项:虚拟节点。 |
选择节点 | 支持选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支、全选、反向选择等功能选项。 |
取消选择节点 | 支持取消选择当前节点、上层父节点、所有依赖节点、下层子节点、子树、所在分支等功能选项。 |
发送通知 | 1)有下游依赖的节点,会显示该选项,可通过该入口通知下游任务; 2)具体使用说明可参见后文说明。 |
查看被依赖详情 | 1)有下游依赖的节点,会显示该选项,可通过该入口查看下游依赖情况; 2)具体说明可参见后文说明。 |
替换依赖节点 | 1)有下游依赖的节点,会显示该选项,可通过该入口快速完成依赖替换,将当前节点,替换为其它任务的其它节点; 2)具体使用方法可参见后文说明。 |
查看版本
SQL节点,支持查看版本,并且支持选择2个版本进行代码的比对。
配置质量监控
节点右键的“配置质量监控”,点击后,可出现如下图所示的配置页面,可以在页面上选择当前项目-集群下的质量监控任务。
发送通知
节点存在下游时(即被别的下游任务依赖),右键选项中会出现“发送通知”。点击发送通知,页面右侧会出现侧边弹框,系统会自动选中“开发模式”下的该节点,并计算该节点的1级下游任务负责人。也支持在通知范围中点击数字,在弹框中勾选需要通知的人员。
查看被依赖详情
节点存在下游时(即被别的下游任务依赖),右键选项中会出现“查看被依赖详情”。点击,会出现弹框,展示下游依赖该节点的任务或节点信息。
替换依赖节点
节点存在下游时(即被别的下游任务依赖),右键选项中会出现“替换依赖节点”。主要功能是,将下游任务或节点对当前节点依赖,替换为对其它任务的节点的依赖。
线上模式节点右键
如下图,为线上模式SQL节点的右键,部分选项仅在部分节点或场景下支持,具体在后面表格中说明:
右键选项 | 说明 |
---|---|
查看节点 | 支持查看线上模式下,节点的内容。 |
查看节点标识 | 支持查看节点的标识。由于平台任务为3层结构,包括Project、Flow、Job。其中Flow为任务,即为任务列表中看到的记录,Job为节点,为多节点任务中可从右侧拖入的多种类型的节点。查看节点标识时,可展示3层结构的标识、名称,共6个字段和内容。当前一般用于网络隔离场景下,进行发布时的任务映射替换配置。 |
查看版本 | 当前仅SQL节点支持,可查看节点的历史版本,支持不同版本的代码对比。 |
查看节点执行历史 | 当前仅SQL节点支持,可跳转至任务运维中心,查看该节点的近n次执行时间和时长曲线、执行记录。 |
发送通知 | 有下游依赖的节点,会显示该选项,可通过该入口查看下游依赖情况。 |
查看被依赖详情 | 有下游依赖的节点,会显示该选项,可通过该入口查看下游依赖的任务。 |
文档反馈
以上内容对您是否有帮助?