SQL类节点节点内运行

完成任务编辑和质量监控配置后,可进行任务运行测试。对于SQL类节点,可以直接在画布中点击顶部“运行”。

运行测试 - 图1

如果需要配置节点的参数,也可以点击“运行设置”,在弹框中完成参数设置后运行。此处设置的参数仅对本次运行生效。

运行测试 - 图2

如果测试运行结束,结果符合预期,节点参数配置也符合预期,则可以将点击“运行设置”将运行的参数生效到“其他设置”中。其他设置是当前节点在线上调度时,会使用的节点配置。

用户也可以在SQL类节点右侧,点击“其他设置”,直接在弹框中配置。

运行测试 - 图3

节点直接运行

对于所有节点,都支持节点右键,或者勾选后,在顶部点击“运行”,来进行直接运行整个节点。

运行测试 - 图4

如果点击顶部“运行”,则会出现运行设置弹框,在弹框中可进行相关配置。

运行测试 - 图5

参数信息 说明
测试模式 测试模式(又叫数据沙箱)是本平台的高级功能,需要额外部署对应的集群以及在项目中心申请开通。开启时,支持按照沙箱模式来控制SQL、Spark、Script等使用Hive、Spark去执行sql或操作相对hdfs路径的节点。具体可查看手册中关于数据沙箱部分的介绍。如果没有开启时,默认不显示该项。
执行参照时间 1. 离线开发任务支持配置执行参照时间,通过设置该时间,可改变azkaban的时间参数,从而实现在开发模式操作指定业务日期的功能。比如,今天是2024年1月3日,对应的${azkaban.flow.1.days.ago}=2024-01-02,那么通过指定“执行参照时间”为“2024-01-02 10:00”,则可以实现让azkaban参数${azkaban.flow.1.days.ago}=2024-01-01,以及其它参数对应调整的功能。
2. 此外,针对部分客户存在多个集群,且集群时区和平台服务时区不一致的场景,离线开发支持在两个时间不一致时,展示UTC时间,如图所示。
质量监控 1. 测试模式为关下,可配置“执行线上态”(默认选中)、“执行开发态”、“不支持”。
2. 测试模式为开,则仅能选择“不执行”。
资源组引用 1. 支持在开发模式下选择引用开发资源组或线上资源组。
2. 默认选中引用线上资源组,线上资源组任务相对稳定,非调试资源组场景,一般选择线上资源组。
队列 执行任务的yarn队列,需要由项目管理员授权给执行者。
完成通知 支持选择需要进行通知的场景,目前包括运行成功或者运行失败。
通知方式 支持多种通知方式,不同客户环境支持的通知方式不同,可由平台运维人员配置。
高优先级 开启高优先级,任务在执行中会抢占更多资源。
节点自动重试 支持开启自动重试并设置重试间隔和次数。
失败设置 任务失败后的处理策略:
1. 继续完成其他分支节点:忽略失败节点,继续完成不依赖失败节点的节点;
2. 停止所有节点:立即停止所有执行的节点,包括正在执行的节点;
3. 仅完成执行中的节点,继续完成正在执行的节点,结束后不再启动新节点。
并发设置 1. 如果有相同的任务执行是,选择忽略本次操作会忽略本次执行;
2. 选择并行执行,则会和执行中的作业并行执行。
自定义参数 任务支持引用参数组,运行时也可设置参数。
说明:参数可能存在重复设置的问题,其优先级为:节点内单独设置的参数优先级最高,此处配置的参数次之,任务内引用参数组的最低。