INFO-调度设置说明
适用模块
离线开发调度设置
具体说明
调度设置:
调度设置类型:
(1)常规设置:按照分钟、小时、天、月、星期来调度 (2)crontab设置:按照自定义时间调度
跨流依赖设置:
1.跨周期自依赖:该任务每个周期间的数据有依赖关系,下一周期的任务必须依赖上一周期的任务就要开启跨周期自依赖,没有强依赖关系为了不影响每个周期任务的调度,不建议开启
2.依赖对象:指依赖的任务,即该任务的上游
3.跨流offset:设置任务依赖的周期
(具体可参考:https://study.sf.163.com/documents/read/service_support/dsc-p-c-0022 ) 4.同周期依赖:该任务依赖了同种周期的任务,即上下游任务的调度周期为同一种(同为天调度或月调度),下游时间早于上游时间,开启同周期依赖后,下游任务会等待上游任务执行完毕再执行,如果没有开启,会选择最近时间的上游任务依赖,即上周期的任务
执行设置:
1.队列:任务执行的队列
2.高优先级:开启后在动态资源分配中可以抢占更多的资源
3.自动重试:开启后在调度中,如果任务失败,可以自动重新调度,调度次数可定义
4.失败设置:
(1)继续完成其他分支节点:如果当前任务有两个分支,其中一个分支的某个节点异常失败,那么不会影响另一个分支的任务
(2)停止所有节点:任务直接失败,其他不依赖于当前失败节点的其他节点任务也全部停止(当前任务有两个分支,另一个分支当前运行的任务也停止失败)
(3)仅完成执行中的节点:完成正在执行的节点(如该任务有两个分支,两个分支同时执行,其中一个分支的某个节点失败,另一个分支正在由节点运行,那么这个正在运行的节点执行完不再执行其他),其他节点撤销,不执行
5.并发设置
(1)串行执行:如果当前任务运维中有该任务在运行中,那么后面的任务等待运行中的任务完成再执行(有些任务不适合并行跑,需要顺序跑,比如前天分区的数据merge上昨天增量的数据,放到昨天的分区中,这种并发跑数据就错了),串行可以理解为跨周期依赖的弱依赖(不依赖于前一个实例的成功,但是要依赖于前一个实例的完成)
(2)并发执行:当前任务可以并发执行(如该任务为分钟任务,十分钟调度一次,但是该任务可能十分钟并未执行完成,还在运行,那么就可以开启并行执行,不影响下一次的调度) 6.自定义参数:可以设置运行的内存,core等,按照任务的需求来设置,和节点参数,参数组一样的效果,优先级最低
使用示例
作者:常惠渊
以上内容对您是否有帮助?