适用模块

spark任务很久不结束时，不知道spark任务卡在哪里。通过以下方法可以简单判断

具体说明

从sparkui上查看spark任务目前运行到哪里

使用示例

1.查看时间信息可以看到是在获取资源阶段还是在执行阶段，例如

从图上可以判断出是在执行sql

2.从sql执行图判断，例如

如图可见目前是在执行插入hive比表的sql，一般就是最后一步insert

3.从driver栈信息查看

搜索driver 点击waiting查看等待在哪

例a：

如图可知卡在最后一步sql执行

例b：

如图可知是卡在hdfs文件系统调用，也就是文件处理

作者：刘思伟 日期：2022-06-09
版本：v1
更新：暂无