适用模块

    离线开发调度设置

    具体说明

    调度设置:

    调度设置类型:

    (1)常规设置:按照分钟、小时、天、月、星期来调度 INFO-调度设置说明 - 图1 (2)crontab设置:按照自定义时间调度

    INFO-调度设置说明 - 图2

    跨流依赖设置:

    1.跨周期自依赖:该任务每个周期间的数据有依赖关系,下一周期的任务必须依赖上一周期的任务就要开启跨周期自依赖,没有强依赖关系为了不影响每个周期任务的调度,不建议开启 INFO-调度设置说明 - 图3

    2.依赖对象:指依赖的任务,即该任务的上游 INFO-调度设置说明 - 图4

    3.跨流offset:设置任务依赖的周期

    (具体可参考:https://study.sf.163.com/documents/read/service_support/dsc-p-c-0022INFO-调度设置说明 - 图5 4.同周期依赖:该任务依赖了同种周期的任务,即上下游任务的调度周期为同一种(同为天调度或月调度),下游时间早于上游时间,开启同周期依赖后,下游任务会等待上游任务执行完毕再执行,如果没有开启,会选择最近时间的上游任务依赖,即上周期的任务 INFO-调度设置说明 - 图6

    执行设置:

    1.队列:任务执行的队列 INFO-调度设置说明 - 图7

    2.高优先级:开启后在动态资源分配中可以抢占更多的资源 INFO-调度设置说明 - 图8

    3.自动重试:开启后在调度中,如果任务失败,可以自动重新调度,调度次数可定义 INFO-调度设置说明 - 图9

    4.失败设置:

    (1)继续完成其他分支节点:如果当前任务有两个分支,其中一个分支的某个节点异常失败,那么不会影响另一个分支的任务

    (2)停止所有节点:任务直接失败,其他不依赖于当前失败节点的其他节点任务也全部停止(当前任务有两个分支,另一个分支当前运行的任务也停止失败)

    (3)仅完成执行中的节点:完成正在执行的节点(如该任务有两个分支,两个分支同时执行,其中一个分支的某个节点失败,另一个分支正在由节点运行,那么这个正在运行的节点执行完不再执行其他),其他节点撤销,不执行 INFO-调度设置说明 - 图10

    5.并发设置

    (1)串行执行:如果当前任务运维中有该任务在运行中,那么后面的任务等待运行中的任务完成再执行(有些任务不适合并行跑,需要顺序跑,比如前天分区的数据merge上昨天增量的数据,放到昨天的分区中,这种并发跑数据就错了),串行可以理解为跨周期依赖的弱依赖(不依赖于前一个实例的成功,但是要依赖于前一个实例的完成)

    (2)并发执行:当前任务可以并发执行(如该任务为分钟任务,十分钟调度一次,但是该任务可能十分钟并未执行完成,还在运行,那么就可以开启并行执行,不影响下一次的调度) INFO-调度设置说明 - 图11 6.自定义参数:可以设置运行的内存,core等,按照任务的需求来设置,和节点参数,参数组一样的效果,优先级最低 INFO-调度设置说明 - 图12

    使用示例

    
    

    作者:常惠渊