INFO-任务提交集群错误问题排查示例

适用模块

具体说明

使用示例

场景、A集群离线开发任务提交application到B集群
1、查看库表完整路径是否正确，是否指向了B集群(沙箱环境hms启动时候可能建库路径指向错误)

2、确认是否是个例，新建任务测试spark sql等是否提交正常(新任务有助于排除文件依赖等原因)
3、确认任务资源文件或引用资源组文件是否存在jar，并确认jar是否包含B集群配置文件如xml等(jar 查看工具见本文附件)


4、日志中确认当前环境使用环境变量

确认该spark_client config下是否存在B集群的信息

5、如果步骤3日志打印目录错误，需确认az配置信息是否正确
/usr/easyops/azkaban_exec/current/plugins/jobtypes/commonprivate.properties

作者：林帅