FAQ-离线开发传输节点支持优先级调度
更新时间: 2025-04-15 21:46:42
阅读 154
FAQ-离线开发传输节点支持优先级调度
问题描述/异常栈
用户在调度设置时,配置了优先级调度实际针对传输节点并未生效如图:
实际提交到yarn并没有生效
解决方案
传输节点-其他设置增加azkaban.ndi.engine.spark.conf.spark.yarn.priority=40;

问题原因
部分传输任务仍然为spark2.x版本作业,针对cs调度队列以及集群spark3.x版本才支持优先级调度
!!!!!!需注意,目前只支持spark3.x版本的传输任务
作者:陈杰
文档反馈
以上内容对您是否有帮助?